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完 ， 实 际 上 却 用 了 整整 半年 时 间 。 十 几 年 前 ， 看 张 筑 生 先 生 所 著 的 《数学 分 析 新 讲 》， 在 后 记 里 面 看 到 “从 编写 教学 改革 实验 讲 
义 到 整理 改写 成 书 ， 前 后 花费 了 五 年 最 宝贵 的 时 间 ”。 那 个 时 候 年 少 轻 狂 ， 看 完 以 后 固然 深 深 为 作者 的 人 品 打 动 ， 却 以 为 写 书 是 
件 并 不 怎么 费劲 的 事情 ， 果 然 是 事 不 经 过 不 知 难 ， 翻 译 尚 且 如 此 ， 反 复 贡 酌 几 易 其 稿 成 书 又 该 是 怎么 一 种 心血 的 前 熬 。 


随 着 系统 智能 化 要 求 的 提高 ， 对 计算 机 视觉 的 要 求 也 越 来 越 多 ， 同 时 ， 计 算 机 视觉 处 理 完 毕 以 后 ， 需 要 有 一 个 合适 的 载体 来 
做 出 反应 。 本 书 正好 就 是 同时 在 这 两 点 上 着 重 论述 ， 一 方面 大 刀 阔 和 低 地 介绍 了 计算 机 视觉 处 理 的 全 流程 ， 并 就 流程 的 每 一 子 步骤 
单独 成 章 介 绍 常见 的 方法 。 另 一 方面 注重 实践 ， 带 领 读者 从 头 开始 走 完整 个 建造 机 器 人 的 人 全程。 正如 作者 所 说 ， “只 要 掌握 了 本 


书 的 内 容 ， 完 全 可 能 创建 一 个 可 以 看 到 环境 并 进行 推理 的 机 器 人 ”。 并 且 每 一 章 的 介绍 都 为 后 续 深 入 开发 打下 了 良好 的 基础 。 


本 书 的 一 个 显著 优点 是 用 很 简洁 的 语言 带领 读者 纵览 全 局 ， 让 读者 对 整个 开发 有 一 个 全 局 的 掌握 ， 因 而 非常 适合 入 门 。 人 毕竟 


工作 以 后 再 来 读 大 部 头 的 书籍 ， 除 非 真 的 是 羊 尔 不 群 ， 否 则 往往 半途 而 废 。 
在 此 ， 我 想 感 谢 华 章 公 司 的 编辑 绷 杰 ， 没 有 他 的 帮助 、 理 解 和 支持 ， 我 很 难 坚 持 下 来 。 


我 还 要 特别 感谢 我 的 爸爸 妈妈 一 一 张 就 光 和 孟 淑 华 ， 你 们 多 年 来 一 直 辛 营地 为 我 遮 风挡 十 ， 给 我 支持 和 鼓励 ， 让 我 有 一 个 非 
常 宽松 快乐 的 成 长 环境 ， 你 们 的 善良 和 坚韧 也 一 直 深 深 地 影响 着 我 。 你 们 辛苦 了 ! 大 海 的 尽头 有 另外 一 个 世界 ， 希 望 在 以 后 的 岁 
月 里 能 让 你 们 的 生活 更 加 美好 ! 


最 后 ， 我 要 感谢 的 是 我 的 爱人 一 一 财 癌 艺 ， 感 谢 她 对 我 的 支持 和 信任 ， 相 守 是 最 温暖 的 承诺 ， 我 会 让 她 为 她 的 选择 感到 骄 
i | 


作者 简介 


OzenOzkaya 是 一 名 谋 入 式 系 统 工程 师 ， 在 各 种 各 样 的 计算 机 视觉 应 用 和 内 入 式 系统 的 设计 、 开 发 和 验证 方面 有 超过 6 年 的 经 


验 。 他 非常 相信 分 享 知识 的 力量 并 持续 地 在 计算 机 视 党 领域 中 实践 。 


从 业 6 年 之 后 ， 现 在 他 是 西门 子 公司 的 一 名 高 级 开发 工程 师 ， 参 与 开发 和 研究 工业 控制 设备 及 工业 通信 处 理 器 。 他 还 对 西门 
子 公司 的 软件 质量 保证 项 目 做 了 一 些 贡 献 。 到 目前 为 止 ， 他 共 申 请 了 8 个 专利 ， 他 的 所 有 应 用 都 在 进行 中 。 他 用 了 3 年 时 间 从 伊 斯 
坦 布尔 科技 大 学 (ITU) 拿 到 了 电子 工程 的 学 士 学 位 ， 并 得 到 了 高 等 荣誉 证 书 。 他 拥有 伊斯坦布尔 科技 大 学 的 电子 工程 硕士 学 
位 ， 并 且 正 在 攻读 伊斯坦布尔 科技 大 学 的 电子 工程 博士 学 位 。 他 在 学 术 研 究 期 间 曾 在 不 同 的 实验 室 工作 过 ， 比 如 说 医疗 系统 设计 
实验 室 、 控 制 和 航空 电子 设备 实验 室 、 机 器 人 实验 室 、 模 式 识别 和 信号 处 理 实 验 室 、 工 业 自 动 化 实验 室 ， 最 后 是 座 入 式 系 统 实 验 


*. 
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可 以 通过 电子 邮件 ozenozkaya(@email.com 或 者 contact(@ozenozkaya.com 直 接 与 Ozen 联 系 。 如 果 你 想 了 解 有 关 他 的 更 多 信息 ， 可 
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首先 我 要 感谢 我 的 父母 K? yas 和 Ferah， 是 他 们 不 停 的 努力 和 坚持 ， 才 有 了 我 今天 的 发 展 。 
我 的 导师 S.BernaOrsYalcin 副 教授 ， 总 是 支持 我 并 帮助 我 完成 了 很 多 事情 ， 所 以 我 想 在 这 里 对 她 表示 感谢 。 我 还 要 感谢 我 所 有 
的 朋友 ， 可 惜 名 单 太 长 没有 办 法 在 这 里 一 一 列举 。 
我 还 要 特别 感谢 Nilay Tiifek， 在 我 写作 本 书 的 过 程 中 ， 她 里 力 支持 我 。 她 真诚 地 鼓励 我 接受 这 一 挑战 并 克服 它 。 
KA) 


Giray Yinke! 专注 于 注入 式 系统 、 计 算 机 视觉 和 机 器 人 技术 。 他 对 这 些 领域 的 学 术 和 工业 方面 都 有 贡献 。 他 喜欢 分 享 他 的 知识 


和 经 验 。 他 认为 信息 共享 才 是 让 生活 前 进 的 真正 方式 。 
Giray 目 前 是 Kos 大 学 设计 实验 室 的 一 名 高 级 研究 工程 师 ， 他 负责 协调 项 目的 技术 过 程 。 此 外 ， 他 还 需要 管理 技术 研究 工程 


言 和 遥感 的 硕士 毕业 论文 而 努 


师 。 他 正在 申请 6 个 专利 。 
他 拥有 上 of8 大 学 物理 学 的 学 士 学 位 。 现 在 ， 他 在 伊斯坦布尔 科技 大 学 (ITU) 为 有 关 卫 星 通 人 


Je 
可 以 访问 他 的 网 站 http://www.oirayyillikci.com， 也 可 以 通过 gyillikci@email.com 或 者 gyillikci(@ku.edu.tr 与 他 


有 关 他 的 更 多 信息 


PW 


联系 。 
首先 ， 我 要 感谢 OzenOzkaya 邀 请 我 合 著 本 书 。 
我 还 要 向 给 我 们 提供 支持 、 意 见 和 帮助 的 Packt 员 工 们 表示 感谢 。 我 要 感谢 Seyed Mousavi， 因 为 他 给 我 们 提供 了 很 多 有 价值 


的 评论 ， 还 要 感谢 Shweta Pant 成 功 的 内 容 开发 管理 。 


感谢 Cetin Seren 对 我 职业 方面 的 指点 。 他 的 真知 灼 见 让 我 在 自己 的 领域 中 做 到 最 好 。 
慧 和 令 人 振奋 的 工作 环境 ， 在 那里 我 们 学 到 


我 要 感谢 Siireyya Ciliv， 他 给 我 们 提供 了 位 于 Turkcell 技 术 应 用 中 心 的 一 个 充满 


了 很 多 知识 。 
我 还 要 感谢 Tugce Pakakat 和 她 的 朋友 们 ， 她 们 让 我 非常 享受 写作 本 书 的 过 程 。 


最 后 ， 我 要 感谢 我 的 母亲 、 人 父亲、 兄弟 ， 他 们 在 我 的 生活 中 支持 、 鼓 励 、 启 迪 我 。 我 要 对 他 们 表达 我 最 诚 执 的 感谢 。 


特别 是 对 于 现代 机 器 而 言 ， 计 算 机 视觉 是 环境 感知 发 展 的 下 一 个 阶段 。 许 多 现代 设备 尝试 使 用 有 限 的 资源 来 模仿 人 类 的 感知 


x 


2s 3 
能 力 。 此 外 ， 大 多 数 此 类 仿制 品 其 实 是 存在 不 足 的 ， 因 为 通常 情况 下 它们 不 能 直接 模拟 人 类 的 感知 能 力 ， 尤 其 是 在 视觉 方面 。 
是 人 类 最 复杂 的 感知 功能 之 一 。 因 此 ， 我 们 需 


即使 传统 传感器 的 种 类 有 很 多 ， 它 们 仍然 无 法 表现 出 人 类 视觉 系统 的 强大 ， 这 
We ds, ABA 


要 一 定 的 视觉 信息 ， 使 我 们 的 电子 系统 更 加 智能 化 。 这 就 是 计算 机 视觉 出 现 的 原因 。 
JU 元 


B 


非常 接近 于 人 类 的 视觉 感知 系统 。 但 是 问题 在 于 ， 如 果 使 用 相机 作为 


相机 可 以 被 视 为 终极 视觉 传感器 ， 它 非常 拉 
通过 把 一 个 复杂 的 问题 划分 为 基本 的 、 可 实现 的 子 步骤 从 而 让 计算 机 视觉 的 任务 变 得 


操作 会 非常 复杂 和 困难 。 本 书 的 目的 是 
单 。 这 种 方法 最 好 的 地 方 在 于 我 们 能 把 实际 生活 中 的 应 用 也 变 得 很 


? 
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容易 ! 


LRILPMAZAEPHO MAN, GCLAEMIABHBAAEOGS —fTTPZHOROSUEDGERIESRAPXDOR. RAKRAKRLE HDGXGAGR AGERE 
互 。Atduino 是 最 流行 的 能 入 式 系 统 平台 之 一 ， 它 通过 海量 的 社区 支持 和 学 习 材 料 为 原型 开发 提供 了 一 种 便捷 的 方法 。 同 时 


行 更 详细 的 讨论 ， 这 些 使 得 Arduino 成 为 视觉 系统 与 现实 生活 进行 交互 的 最 完美 的 候选 。 


Atduino 的 关键 属性 也 很 棒 ， 稍 后 将 进 


清楚 的 。 在 大 多 数 情况 下 ， 视 觉 信息 会 与 来 自 各 种 传统 的 传感器 的 数据 相 结 


器 和 加 速 器 等 。 此 外 ， 我 们 需要 一 个 很 好 的 工具 来 在 视觉 处 理 过 程 之 后 采取 物 


比如 驱动 电动 机 和 开 灯 。 因 此 ，Atduino 在 从 环境 中 收集 数据 并 采取 行动 的 过 程 中 非常 有 用 ， 特 别 是 因为 它 有 大 量 开 发 


迅速 。 


Arduino 在 计算 机 视觉 系统 中 扮演 的 角色 是 非常 
合 ， 这 些 传 统 的 传感器 包括 温度 传感器 、 压 力 传 感 


理 行动 ， 
好 的 库 以 及 社区 共享 使 得 原型 开发 非常 

源 计 算 机 视觉 库 (OpenCV) 是 一 个 包含 大 量 优化 算法 的 优秀 开源 库 。OpenCV 最 重要 的 优势 之 一 是 它 可 以 支持 多 个 平 
= 在 Windows、Linux、Mac OS 甚至 是 Android 和 iO 〇 OS 平台 上 工作 。 更 重要 的 是 它 是 一 个 成 熟 的 库 ， 在 写作 本 书 时 最 新 版 本 


为 3.0 (和 2.4.11) 。 出 于 这 些 原因 ， 本 书 中 所 有 的 计算 机 视觉 任务 都 将 采用 OpenCV 来 实现 | 


明确 的 、 可 应 用 的 方式 来 融合 Arduino 和 计算 机 视 党 的 能 力 。 书 中 的 实践 和 方法 可 用 于 任何 相关 的 


本 书 将 通过 一 种 通用 的 、 
问题 和 平台 。 本 书 想 实现 的 最 终 目 标 是 让 你 可 以 通过 一 种 通用 方法 使 用 各 种 组 件 来 解决 现实 生活 中 任意 类 型 的 视觉 问题 。 
在 每 一 章 中 ， 你 将 会 找到 有 关 主 题 在 现实 生活 中 实际 应 用 的 例子 。 为 了 学 以 致 用 ， 我 们 会 一 步 一 步 地 建立 一 个 视觉 机 器 人 。 


处 会 发 现 尽 管 问 题 的 背景 有 很 大 的 不 同 ， 解 决 问题 的 方法 都 是 一 样 的 并 且 很 简单 ! 


本 书 的 主要 内 容 


第 1 章 通过 介绍 一 种 对 现实 生活 视 沉 问题 有 效 的 解决 办 法 来 解释 设计 模块 和 体系 。 
第 2 章 讲 述 OpenCV 库 的 基本 原理 以 及 如 何在 不 同 的 操作 系统 平台 安装 和 测试 OpenCV 库 。 


第 3 章 通 过 实用 的 技巧 和 现实 生活 的 例子 来 展示 从 环境 中 收集 数据 的 有 效 方 法 。 
第 4 章 介绍 OpenCV 库 中 的 内 置 滤波 器 以 及 如 何 根据 应 用 程序 的 上 下 文 来 选择 和 实现 这 些 滤波 器 。 
第 5 章 探 索 如 何 从 视觉 数据 中 提取 有 意义 的 信息 以 及 如 何 让 这 些 提 取出 来 的 数据 为 识别 系统 做 好 准备 。 


第 6 章 通过 实践 的 方式 探索 人 工 智 能 的 方法 ， 讨 论 在 一 个 给 定 场景 中 检测 和 识别 物体 的 方法 。 
综合 性 最 佳 实践 。 


第 7 草 揭 示 Arduino 的 通信 和 能力 以 及 在 OpenCV 的 环境 中 连接 Arduino 的 综合 


过 物理 行为 优雅 地 与 现实 世界 进行 交互 。 


第 9 章 综 合 前 面 所 学 的 所 有 知识 来 设计 和 开发 一 个 全 功能 一 体 化 的 机 器 人 。 该 章 还 将 介绍 所 提出 的 方法 如 何在 问题 独立 的 情 


况 下 取得 成 功 。 


阅读 本 书 前 的 准备 
本 书 的 目的 是 教会 你 如 何 开 发 可 以 与 现实 生活 进行 交互 且 启 用 了 计算 机 视觉 的 系统 。 书 中 所 有 必需 的 软件 都 是 免费 的 。 当 

然 ， 根 据 需 要 ， 你 也 可 以 使 用 收费 的 软件 来 开发 应 用 程序 。 

计算 机 视觉 应 用 程序 是 使 用 OpenCV 开 发 的 。Eclipse、Xcode、Visual Studio 作 为 集成 开发 环境 使 用 。 应 用 程序 的 谱 入 式 系统 


部 分 通 


wx 


ii4& Jf Arduino Uno R3 和 Atduino 的 集成 编辑 器 来 开发 。 


有 几 章 中 的 应 用 程序 需要 用 到 电子 元 器 件 ， 比 如 传感器 或 通信 模块 。 这 些 模块 都 很 便宜 并 且 很 容易 找到 。 应 用 程序 背后 的 思 
想 是 通用 的 ， 可 以 适用 于 各 种 相关 领域 。 


本 书 的 目标 读者 


本 书 主要 面向 想 要 在 项 目 中 使 用 计算 机 视觉 来 创造 更 多 智能 系统 的 读者 。 特 别 是 想 学 习 如 何 使 用 Arduino 进 行 计算 机 视觉 编 
程 的 用 户 和 对 此 有 兴趣 的 爱好 者 。 


机 器 人 学 是 兴趣 电子 学 中 最 流行 的 领域 之 一 。 我 们 可 以 简单 地 说 只 要 掌握 了 本 书 的 内 容 ， 就 完全 有 可 能 建立 一 个 可 以 看 到 环 
境 并 进行 推理 的 机 器 人 。 同 一 方案 适用 于 消费 类 电子 学 和 兴趣 电子 学 的 所 有 其 他 领域 。 任 何 对 这 一 方案 感到 兴奋 的 人 都 是 本 书 的 
目标 读者 。 


本 书 假设 读者 熟悉 Arduino 的 基本 知识 。 对 于 计算 机 视觉 编程 方面 的 知识 则 没有 什么 要 求 。 


下 载 示例 代码 和 彩色 图 片 


你 可 以 从 华章 网 站 (http://www.hzbook.com) 下 载 本 书 的 示例 代码 和 彩色 图 片 。 


第 1 草 TAN MARTA 


在 本 章 中 ， 你 将 会 了 解 计算 机 视 完 系统 的 基础 概念 和 整体 框架 。 这 样 当 解 决 计算 机 视 完 问题 的 时 人 息 ， 你 将 有 一 个 更 广阔 的 视 
gy, 


1.1 计算 机 视 完 系统 介绍 


我 们 用 五 种 感官 (ARC. ORD. Mbt. Unit) 来 观察 周围 的 一 切 。 尽 省 这 五 种 感官 都 非常 重要 ， 但 是 有 一 种 感官 对 于 
感 角 有 最 大 的 影响 。 坚 无 疑问 ， 它 残 是 视觉 ， 这 也 是 本 书 的 主题 。 


当 看 到 一 个 场景 时 ， 我 们 能 在 一 个 有 意义 的 上 下 文中 理解 和 解释 看 到 的 细节 。 这 看 起 来 很 容易 ， 但 其 实 这 是 一 个 非 钊 复杂 难 
以 建 模 的 过 程 。 是 什么 让 人 类 的 眼睛 容易 理解 视 营 而 机 器 难以 理解 答案 隐藏 于 人 类 和 机 器 在 感 和 上 的 区 别 。 许 多 研究 人 员 正 在 


试图 揭示 这 个 区 别 。 


在 计算 机 视 党 友 展 的 道路 上 ， 照 相机 的 友 明 是 其 中 最 重要 的 一 个 里 程 碑 。 尽 管 照相 机 是 一 个 保存 场景 视 部 记忆 的 很 好 的 工 
具 ， 但 是 它 导 致 了 很 多 变化 ， 而 不 仅仅 是 保 仓 场景 。 与 相机 的 友 明 一 样 ， 人 们 上 总 是 试图 开 友 设备 来 让 我 们 的 生活 更 加 美好 。 当 前 
的 趋势 是 开 友 智能 设备 ， 知 晓 周边 的 环境 肯定 是 其 中 重要 的 一 环 。 这 和 我 们 的 日 党 生活 体验 或 多 或 少 是 相同 的 ， 视 党 是 最 大 的 影 
响 因 素 。 多 亏 了 科技 的 友 展 ， 使 得 模拟 人 类 的 视 党 系统 是 可 能 的 并 且 已 经 在 各 种 各 样 的 设备 上 实现 了 。 在 这 个 过 程 中 ， 我 们 有 能 
力 开 发 可 视 化 设备 。 


图 片 和 时 间 序 列 的 图 片 被 称 为 视频 ， 换 句 话 说 束 是 真实 世界 的 机 器 表示 。 任 何 可 视 化 设备 都 是 通过 图 片 来 重建 真实 的 场景 。 
因为 通过 设备 从 图 片 提取 解释 和 隐 蕊 的 信息 非常 复杂 ， 通 常 使 用 计算 机 来 达到 目的 。 计 算 机 视 党 这 个 词 束 是 来 自 让 机 器 用 人 类 的 
方式 理解 真实 世界 的 现代 方法 。 由 于 计算 机 视 完 对 机 器 的 目 动 化 日 党 工作 十 分 必要 ， 因 此 它 的 友 展 非常 迅 速 ， 并 且 大 量 的 框架 、 
工具 和 库 已 经 被 开发 出 来 。 


OpenCV (Open Source Computer Vision Library) 的 出 现 对 于 计算 机 视 党 来 说 是 一 个 非常 大 的 改变 ， 并 且 很 多 人 都 对 它 
有 贡献 以 便 让 它 变 得 更 好 。 现 在 它 是 一 个 成 熟 的 库 ， 提 供 了 最 先进 的 设计 模块 ， 在 后 面 的 章节 我 们 会 接触 到 。 因 为 它 是 一 个 易于 
使 用 的 库 ， 不 需要 为 了 完成 视 完 计算 任务 而 去 搞 清楚 底层 到 底 发 生 了 哪些 复杂 计算 。 这 种 易 用 性 让 那些 复杂 的 任务 更 容易 完成 ， 
但 是 即便 是 这 样 ， 你 也 应 该 知道 如 何在 解决 问题 和 使 用 设计 工具 中 找到 平衡 。 


1.2. ffir ES RR 
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步 又。 本 章 的 目的 是 同 你 展示 如 何 解决 计算 机 视 台 问题 ， 以 及 如 何 用 一 个 通用 模型 来 对 问题 建 模 。 


本 书 讲解 的 实用 计算 机 视觉 系统 的 架构 ， 由 Arduino 系 统 和 OpenCV 系 统 组 合 而 成 ， 如 下 图 所 示 : 


Arduino 只 负责 从 环境 中 收集 感官 信息 ， 比 如 温度 、 湿 度 ， 然 后 把 这 些 信息 发 给 视觉 系统 控制 器 的 OpenCV 系 统 。 视 觉 系统 
控制 器 和 Arduino 之 间 的 通信 可 以 是 有 线 的 ， 也 可 以 是 无 线 的 ，Arduino 对 于 这 两 种 方式 处 理 起 来 都 很 容易 。 视 觉 系统 处 理 完 从 
Arduino 和 网 络 气 像 头 传 过 来 的 数据 后 ， 会 检测 或 者 识别 出 一 个 结论 。 比 如 ， 它 设置 可 以 识别 出 你 的 脸 。 下 一 步 是 根据 这 个 结论 
来 给 Arduino 系 统 发 送 指令 ， 让 Arduino 采 取 合 适 的 动作 。 这 些 动作 可 能 是 开 风 肩 来 让 环境 冷却 ， 移 动机 械 豆 来 给 你 递 咖 哗 等 


尽 一 视觉 控制 器 可 以 是 台式 电脑 、 笔 记 本 电脑 、 手机 ， 甚 至 是 树 莓 派 或 者 Beaglebone 这 样 的 迷你 电脑 ! OpenCV 可 以 在 所 有 这 
此 平台 上 运营 ， 所 以 基本 原则 在 这 些 平台 上 都 是 有 效 的 。 迷 你 电脑 也 可 以 做 部 分 Atduino 的 工作 。 


任何 计算 机 视 党 系统 都 由 一 系列 边界 清晰 的 设计 模块 组 成 ， 它 们 依次 是 数据 采集 、 预 处 理 、 图 像 处 理 、 后 置 过 滤 、 识 别 ( 检 
JU) 和 驱动 。 本 书 将 针对 这 些 步 又 介绍 一 些 详 细 实 用 的 方案 。 我 们 把 这 些 步 骤 对 应 到 平台 上 具体 实现 ， 束 可 以 得 到 一 个 计算 机 视 
学 系 统 的 通用 流程 图 。 在 下 图 中 ， 你 可 以 看 到 计算 机 视 沈 系统 的 通用 处 理 流程 : 


| 4] Ate " 
Hum | nd 后 置 处 理 


运行 在 计算 机 、 手 机 、 平 板 电 脑 
_ 或 单片机 上 的 OpenCV 程序 


Bin 通信 


1.3 Baa 


ION 


我 们 现在 知道 如 何 处 理 计算 机 视 党 项 目 以 及 如 何 把 项 目 分 解 成 一 个 个 独立 的 部 分 以 便 更 加 容易 地 实现 整个 项 目 。 我 们 对 如 何 
用 系统 性 的 方法 来 实现 视 党 系统 的 复杂 任务 也 有 了 一 些 概念 。 


我 们 还 谈 到 了 方法 中 每 一 个 子 步 又 的 原因 和 重要 性 。 我 们 现在 知道 了 解决 问题 有 哪些 天 键 点 ， 以 及 如 何 定 义 一 个 解决 任何 计 
算 机 视 党 问题 的 框架 。 


现在 ， 是 我 们 开始 具体 实践 的 时 候 了 ! 


第 2 章 ”OpenCV 的 基础 与 安装 


开源 计算 机 视觉 库 (OpenCV) 是 一 个 供 学 术 研 究 人 员 、 商 业 公 司 、 府 入 式 设 备 开发 社区 以 及 全 世界 爱好 者 使 用 的 计算 机 视 
膏 库 。OpenCV 提 供 了 C++、C、Python 和 Java 等 语言 版 本 的 接口 ， 并 且 支 持 Windows、Linux、Mac OS、Android 和 1iOS 平 
人 台 。 它 在 设计 的 时 候 束 考虑 到 了 计算 效率 和 易 用 性 ， 并 专注 于 支持 实时 应 用 。 算 法 经 过 了 优化 并 且 适 合 运 行 在 不 同 的 硬件 平台 
上 上， 即使 在 多 核 情 况 下 也 运行 民 好 。 确 实 ,，OpenCV 的 一 个 优势 就 是 它 有 一 个 大 约 5 万 人 的 用 尸 社区 。 它 的 使 用 范围 非常 广泛 ， 
从 对 和 象 识别 到 运动 检测 都 有 履 震 ， 并 且 企 机 器 人 技术 社区 中 非 贡 受 欢迎 。 让 我 们 开始 介绍 OpenCV 模 块 ， 进 而 深入 了 解 计算 机 视 


> 
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2.1 OpenCV 的 基础 


在 本 节 中 ， 我 们 会 讨论 OpenCV 组 件 以 便 更 好 地 了 解 它 的 结构 ， 并 且 会 介绍 OpenCV 的 基础 。 这 样 你 将 会 熟悉 这 些 模块 ， 在 
后 面 章 节 的 Arduino/OpenCV 项 目 中 可 以 根据 需要 来 添加 。 所 以 准备 好 学 习 这 些 模块 吧 ! 这 些 模块 既 有 共享 库 也 有 前 仿 库 。 
OpenCV 提 供 了 很 多 用 尸 易 用 的 功能 。 这 样 我 们 可 以 专注 于 项 目 本 身 。 在 最 新 的 稳定 版 本 中 ， 可 使 用 下 列 模块 : 


opencv_core: 这 个 简洁 的 模块 定义 了 我 们 经 常 使 用 的 基本 数据 结构 ， 包 括 紧密 多 维 数组 Mat 和 其 他 模块 使 用 的 基本 函数 。 


* opencv. imgptoc: 


在 图 像 处 理 模块 的 帮助 下 ， 我 们 可 以 像 专 业 人 员 一 样 修改 原始 图 像 ， 使 得 它们 可 以 被 计算 机 视觉 系统 进 


一 步 处 理 。 这 个 模块 提供 了 线性 和 非 线性 的 图 像 泪 波 、 图 像 几 何 变换 、 颜 色 空 间 转 换 、 直 方 图 等 内 容 。 


: opencv. video: 


在 视频 模块 的 帮助 下 ， 现 在 可 以 进行 实时 处 理 了 。 这 个 模块 提供 了 非常 重要 的 帧 间 处 理 能 力 ， 比 如 运动 预 
WM. FY HEAR FORT KiB IRS HK 


- opencv_calib3d: 这 个 多 视图 模块 可 以 使 用 多 个 相机 产生 的 图 像 生成 一 个 新 的 维度 下 的 视图 。 它 还 控制 着 深度 信息 提取 。 


- opencv_feature2d: 这 个 模块 使 用 了 许多 快速 的 实时 算法 来 继续 边 角 的 检测 。 在 项 目 中 需 于 特征 检测 、 特 征 描 述 以 及 


描述 匹配 上 时， 会 廿 


xJ 


重要 性 。 


- opencv_objdetect: 在 前 面 的 模块 提取 了 一 些 主要 特征 后 ， 我 们 现在 可 以 检测 对 和 象 和 一 些 预 定义 类 的 实例 (rode, AR 
睛 、 被 子 、 人 、 汽 车 等 ) 。 


: opencv_higheut: 


: opencv_videotio: 


这 个 模块 提供 了 一 个 很 棒 的 UI 接 口 。 我 们 可 以 使 用 GUI 特性 来 更 好 地 理解 数据 的 捕获 和 处 理 。 


这 个 模块 提供 了 视频 捕获 和 视频 解码 器 的 接口 。 我 们 将 在 实时 数据 采集 的 应 用 中 用 到 这 个 模块 。 


- opencv_gpu: 不 同 OpenCV 模 块 的 GPU 加 速算 法 。 


还 有 其 他 辅助 模块 ， 比 如 FLANN、 Google test wrappers, Python binding， 等 等 。 


准备 好 企 接 下 来 的 几 章 中 去 友 现 这 几 个 模块 吧 ! 但 首先 ,确保 已 经 在 你 的 开 友 平台 上 安 六 好 OpenCV! 下 一 证 将 指导 你 完成 
FANS. FAIA ASI! 


2.2 ”OpenCV 的 安装 


本 节 将 介绍 在 Windows、Linux、Mac OS、iOS 和 Android 上 安装 OpenCV。OpenCV 库 的 新 版 本 会 定期 发 布 。 本 书 采 用 
了 OpenCV 的 稳定 版 本 2.4.10 版 。 因 为 OpenCV 成 熟 且 稳 定 ， 示 来 版 本 的 安装 应 该 区 别 不 大 。 


2.3” 忆 结 


在 本 草 中 ， 你 了 解 了 OpenCV 的 基础 知识 ， 以 及 如 何在 你 的 设备 上 安装 它 。 你 还 了 解 了 如 何在 不 同 的 平台 和 开发 环境 上 配置 


你 的 OpenCV 项 目 。 


rò 
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装 OpenCV 之 后 ， 运 行 了 第 一 个 OpenCV 应 用 程序 ! 


MM MM 我 们 强烈 建议 你 了 解 OpenCV 的 API 和 稳步 上 升 的 支持 平台 。 在 你 喜欢 的 环境 设置 好 
OpenCV 后 ， 你 已 经 准备 好 进行 下 一 步 了 ! 


下 一 章 将 摘 述 如 何 使 用 流行 相机 进行 数据 来 集 ， 这 项 拉 术 在 机 器 人 社区 和 OpenCV 社 区 中 被 广泛 及 用。 


5883€ ”用 OpenCV 和 Arduino 进 行 数据 采集 


在 本 章 中 ， 你 将 了 解 计 算 机 视觉 系 统 的 数据 采集 部 分 。 相 机 和 传感器 的 数据 都 会 被 处 理 。 本 章 将 讲授 如 何 给 视 竞 系统 选择 相 
机 和 传感器 以 及 如 何 正 确 使 用 它们 。 因 此 ， 本 章 有 两 个 主要 部 分 : 一 个 部 分 是 关于 用 OpenCV 进 行 图 像 和 视频 采集 ， 另 外 一 个 部 
分 是 用 Arduino 进 行 传感器 数据 采集 。 


3.1 ARES 


人 们 通过 眼睛 来 获取 周围 环境 的 视 咯 信息 。 当 涉及 机 器 如 何 获 取 视 党 数据 时 ， 各 种 各 样 的 相机 被 用 于 这 个 目的 。 因 为 视 完 数 
据 会 用 数字 来 表示 ， 有 效 的 相机 处 理会 得 到 一 个 更 好 的 表示 。 这 是 你 可 以 从 本 章 中 学 到 的 知识 。 


在 第 2 章 中 ， 你 已 经 安装 了 OpenCV 并 且 运 行 了 一 个 典型 的 hello world 应 用 。 在 此 基础 上 ， 我 们 通过 手头 实际 案例 的 讲解 来 
学 习 OpenCV 的 数据 采集 功能 。 


OpenCV 支 持 各 种 各 样 的 相机 ， 这 样 开 友 者 有 很 大 的 选择 学 围 。 学 习 如 何 针对 你 的 应 用 选择 一 个 合适 的 相机 也 是 本 草 的 一 个 


主题 。 你 会 在 本 章 的 相机 选择 部 分 找到 答案 。 


选择 相机 之 后 ， 我 们 将 研究 如 何 使 用 OpenCV 进 行 图 像 和 视频 的 采集 。 在 此 过 程 中 ， 我 们 将 会 学 习 如 何 读 写 图 像 、 捕 近视 频 
等 。 现 在 让 我 们 开始 吧 ! 


3.2 ”传感器 数据 及 集 


对 大 多 数 实时 应 用 程序 来 说 ， 视 党 信息 和 传感器 信息 的 结合 对 于 更 好 地 理解 环境 是 至 天 重要 的 。 系 统 的 整体 性 能 和 各 个 子 模 
块 泽 密 相关 ， 因 此 有 效 恰当 地 实现 传感器 数据 及 集束 变 得 非常 重要 。 


即使 检测 的 是 相同 的 物理 对 象 ， 也 有 很 多 不 同 的 传感器 。 举 一 个 简单 例子 ， 有 很 多 不 同类 型 的 温度 传感器 ， 尽 省 它们 都 是 设 
计 用 来 测量 温度 的 。 如 果 你 想 测量 皮肤 的 温度 而 不 是 大 气温 度 ， 那 么 该 如 何 选 择 一 个 合适 的 传感器 ? 该 如 何 选 择 一 个 采样 间隔 ? 
如 何 处 理 噪声 ”本 章 的 目的 是 让 你 彻 后 了 解 传感器 数据 采集 。 在 本 章 的 结尾 部 分 有 一 个 用 Arduino Uno R3 开 上 友 的 实际 传感器 接 
口 的 例子 。 


3.3 Mà 
现在 我 们 知道 了 怎么 在 计算 机 视觉 项 目 中 进行 数据 采集 ， 也 知道 了 如 何 给 一 个 特定 的 计算 机 视觉 应 用 选择 相机 ， 还 知道 如 何 


使 用 OpenCV 针 对 不 同 的 需求 进行 数据 采集 。 


读 完 本 章 之 后 ， 你 还 知道 了 如 何 读 取 、 使 用 传感器 数据 以 及 如 何 对 传感器 数据 进行 过 滤 。 这 些 主题 覆 关 了 不 同类 型 的 传 感 


器 ， 所 以 现在 你 应 该 对 计算 机 视 党 应 用 的 数据 采集 有 了 全 面 的 理解 。 


现在 ， 是 时 候 进 行 下 一 步 了 : 用 OpenCV 过 滤 数 据 ! 


第 4 章 ”用 OpenCV 进 行 数据 过 滤 


现在 我 们 已 经 有 足够 的 知识 来 更 进一步 了 。 你 应 该 已 经 了 解 了 OpenCV 基 础 以 及 如 何 用 OpenCV 和 Arduino 进 行 数据 采集 ， 
也 知道 这 些 方法 都 要 对 从 相机 获取 的 图 像 进行 一 定 的 处 理 。 现 在 是 时 候 学 习 如 何 操作 图 像 来 利用 图 像 渡 波 提 供 的 好 处 了 。 之 后 我 
们 会 了 解 一 些 更 加 复杂 的 方法 。 本 章 介 绍 了 如 何 用 OpenCV 进 行 实际 的 过 滤 操 作 ， 在 本 章 的 结尾 我 们 将 开发 一 个 综合 性 比较 强 的 
项 目 。 在 本 章 中 ， 你 将 会 学 到 如 何 为 数据 处 理 做 好 准备 ! 


4.4. 开始 过 渡 


作为 图 像 滤波 的 第 一 步 ， 我 们 将 介绍 图 像 噪声 抑制 、 增 强 以 及 其 他 预 处 理 方法 。 本 章 涉及 的 操作 将 对 后 面 几 章 提 到 的 图 像 后 
处 理 以 及 识别 打下 一 个 坚实 的 基础 。 


让 我 们 从 一 个 实际 生活 的 例子 开始 了 解 过 滤 ! 人 在 本 章 中 将 会 讨论 很 多 工业 应 用 中 的 滤波 器 以 及 操作 。 比 如 ， 我 们 可 以 创建 一 
个 在 传送 市 上 进行 硬币 分 离 的 机 器 人 应 用 ， 它 通过 平滑 、 铝 化 以 及 形态 学 算 子 (morphological operator) 来 识别 硬币 。 马 上 
融会 看 到 这 尝 算 子 能够 揭示 图 像 的 结构 和 形状 。 


ESTA 
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负数 或 者 图 像 与 另外 一 个 进行 混合 。 这 可 以 用 来 执行 很 多 图 像 上 的 处 理 (COS. bit. EERDE) 。 你 将 在 下 一 章 中 
看 人 到， 我 们 把 滤波 器 模板 (二 维 数 组 ， 比 如 图 像 ) 与 图 像 混 合 。 


在 实践 中 ， 卷 积 被 用 作 图 像 处 理 的 滤波 器 。 用 来 对 图 像 进 行 变 换 来 执行 卷 积 的 数学 元 素 是 算 阵 ， 通 剃 也 称 为 滤波 器 模板 。 我 
们 可 以 根据 特定 的 需求 来 设计 自己 的 滤波 器 模板 。 比 如 ， 可 以 构建 一 个 滤波 器 模板 来 对 图 像 进行 模糊 操作 ， 构 建 另外 一 个 渡 激 器 
模板 用 来 进行 边缘 检测 。 模 糊 滤 波 器 模板 和 边缘 检测 滤波 器 模板 分 别 如 下 : 


模糊 渡 激 器 模板 : 


1/9 1/9 1/9 


-1 4 | -1 
0 | -1 0 


边 绿 检 测 滤 波 器 模板 : 


郑 积 是 一 个 局 部 线性 操作 。 它 是 基于 附近 的 像素 值 来 生成 对 应 点 的 新 值 ， 值 由 滤波 器 决定 。 重 要 的 是 要 理解 卷 积 的 行为 而 不 
是 它 的 数学 表达 式 。 卷 积 用 来 把 滤波 器 或 者 信号 作用 于 系统 。 因 为 图 像 数据 是 二 维 的 ， 所 以 使 用 的 是 二 维 卷 积 。 


4.2 ”空间 域 滤波 


本 章 过 论 的 滤波 都 友 生 在 空间 域 。 空 间 滤 波 是 在 图 像 平 面 上 进行 操作 。 这 一 域 的 操作 是 直接 对 图 像 位 置 上 的 像素 进行 操作 。 
损 句 话 襄 ， 操 作 友 生 于 我 们 人 在 屏 幕 上 看 到 的 像素 点 上 。 


让 我 们 摘 述 将 在 本 节 讨 论 的 空间 滤 肖 器 。 我 们 将 主要 讨论 平滑 和 锅 化 。 当 我 们 平滑 一 个 图 像 的 时 候 ， 操 作 倾 癌 于 降低 边 角 
(特别 是 降低 噪声 峰值 ) 的 影响 。 图 像 的 过 渡 变 得 更 加 平 渭 。 图 像 的 模糊 操作 通 弟 用 来 减少 图 像 噪声 的 影响 。 


锅 化 的 效果 和 平滑 正好 相反 ， 尼 是 除了 平滑 以 外 另外 一 项 重要 的 滤波 扩 术 ， 主 要 用 于 增强 图 像 的 边 角 。 当 使 用 铝 化 滤波 器 
时 ， 图 像 的 过 涛 效果 航 放 大 了 。 在 锐 化 操作 的 帮助 下 ， 你 可 以 更 好 地 看 到 图 像 的 过 渡 。 


使 用 专 积 的 绪 性 图 像 滤波 是 图 像 处 理 中 最 音 用 的 万 法 。 像 平 崩 、 锅 化 、 边 绿 检测 这 学 都 是 使 用 线性 知 积 实现 的 典型 图 像 处 理 


全、 更 多 线性 滤波 器 的 信息 可 以 参见 维基 百科 的 页 面 https://en.wikipediaorg/wiki/Linear_filter。 


4.3 ”颜色 空间 转换 


我 们 通过 颜色 空间 转换 来 得 到 信息 更 丰富 的 表示 方式 。OpenCV 文 持 的 主要 颜色 空间 有 蓝 绿 红 (BGR) 、 色 相 - 饱 和 度 -亮度 
(HSB) 、 灰 度 和 二 值 化 。 最 常 使 用 的 颜色 模型 是 BGR 万 案 。 蓝 、 绿 、 红 是 基色 ， 它 们 各 种 的 组 合 可 以 表示 全 部 颜色 ，。 


HSB (也 称 为 色相 -饱和 度 -明度 或 者 HSV) 模型 从 亮度 中 分 离 了 颜色 信息 。 色 相 代 表 了 观察 者 看 到 的 主要 颜色 ,饱和 度 代 表 
主 若 色 被 日 光 黎 释 的 程度 ， 亮 度 表 示 平 均 亮 度 。HSB 这 种 表示 方法 经 常用 于 彩色 图 像 处 理 ， 因 为 颜色 和 光 强 度 相 对 独立 。 它 用 来 
仿 测 一 个 已 知 颜色 的 物体 。HSB 表 示 万 法 可 以 在 不 同 的 光照 条 件 下 工作 ! BGR 表 示 廊 法 就 很 难 做 a 到。 


灰 度 是 另外 一 种 单 用 的 颜色 空间 ， 图 像 的 信息 通过 灰色 阴影 来 表示 。 当 像素 的 红 绿 监 三 个 人 相同 时 颜色 融 是 灰色 。 因 为 这 三 
个 颜色 值 相同 ， 所 以 可 以 用 一 个 值 来 表示 灰 度 值 。 


一 值 化 操作 会 创建 一 个 像素 值 只 有 0 和 1 的 图 像 。 它 通常 用 于 增强 对 比 度 ， 进 而 用 于 特征 检测 、 图 像 分 割 或 者 作为 其 他 图 像 
处 理 功能 的 前 置 步骤。 最 好 把 它 用 于 前 景 像素 的 亮度 值 比 背 景 像素 的 亮度 值 高 的 情况 。 


一 值 化 的 一 个 实例 丈 是 辣 值 ， 它 是 基于 点 的 操作 ， 会 把 每 个 像素 值 和 一 个 全 局 截断 值 进 行 比较 ， 然 后 将 像素 值 赋 为 0 或 1。 


国 值 操作 只 是 简单 地 把 灰 度 图 中 每 个 像素 值 和 一 个 国 值 进行 比较 。 如 果 像 素 值 比 这 个 国 值 大 ， 融 设置 这 个 像素 值 为 1; 如 果 
像 泰 值 比 阅 值 小 ， 像 素 值 则 设 为 0。 立 值 的 思想 也 可 以 用 于 BGR、HSV 甚 至 深度 数据 图 像 。 它 对 于 找 出 图 像 中 的 特定 属性 非常 有 
用 ,但 是 我 们 不 会 讨论 这 些 话题 。 二 值 图 像 允 许 使 用 强大 的 形态 学 算 子 进行 图 像 的 形状 和 结构 分 析 。 


44 ”形态 学 滤波 器 
让 我 们 讨论 下 形态 学 图 像 处 理 ， 这 种 处 理 与 图 像 中 物体 的 形状 有 关 。 形 态 学 运算 是 根据 像素 在 它 相 邻 像素 中 的 相对 顺序 来 进 


行 计算 的 。 


形态 学 滤波 器 用 于 修改 二 值 图 像 的 结构 。 形 仿 学 算 子 修改 像素 组 的 形状 而 不 是 它们 的 幅度 或 值 。 


形态 学 重建 基于 膨胀 (dilation) 或 腐蚀 (erosion) 的 重复 使 用 直到 一 个 标记 点 被 移 除 。 我 们 可 以 用 这 个 方法 来 实现 物体 
的 边界 检测 、 孔 填充 和 区 域 泛 化 (region flooding) 。 


最 党 见 的 形态 学 运算 是 膨胀 和 腐蚀 。 脱 胀 会 对 图 像 中 的 物体 边界 添加 像素 。 腐 蚀 会 移 除 物 体 边界 上 的 像素 。 渡 小 器 模板 大 小 
定义 了 操作 过 程 中 对 物体 添加 或 者 减 去 的 像素 的 数量 。 


膨胀 和 腐蚀 的 组 合 弟弟 用 来 实现 不 同 的 形态 学 处 理 操作 。 举 个 例子 来 讽 ， 图 像 开 运算 的 定义 融 是 先 脱 胀 后 腐蚀 。 同 样 ， 对 图 
像 应 用 一 个 闭 操 作 束 是 先 腐蚀 后 膨胀 。 


4.5 teeta 


本 节 讨 论 边 缘 检 测 。 我 们 将 学 习 的 集中 边缘 检测 算法 包括 : Canny, LoG (Laplacian of Gaussian) 和 Sobel。 我 们 将 在 本 
证 详细 讨论 这 几 个 算 子 ， 并 通过 OpenCV 例 子 来 观察 将 这 些 算 子 应 用 于 图 像 后 所 产生 的 效果 。 


边 绿 检测 和 我 们 在 本 章 中 已 经 介绍 过 的 万 法 对 于 图 像 处 理 都 是 非常 重要 的 。 通 过 找到 图 像 中 的 边 绿 、 线 和 和 角 ， 我 们 能 对 正在 
处 理 的 图 像 的 前 景 和 背景 做 出 推理 。 在 找到 并 增强 图 像 的 边界 以 后 ， 我 们 可 以 应 用 检测 和 识别 算法 ， 这 一 点 我 们 会 在 后 续 草 节 中 
看 到 。 


4.6” 目 定义 渡 汉 器 


OpenCy 的 filter2D 函 数 为 用 户 提供 自 定义 滤波 器 模板 的 能 力 。 有 时 最 好 为 一 个 特定 的 过 程 设计 一 个 独特 的 滤波 器 模板 。 
下面 的 代码 对 源 图 像 实现 了 一 个 平滑 操作 来 提升 效果 。 


这 个 OQpenCV 的 例子 来 自 http://docs.opencv.org/doc/tutorials/imgproc/imgtrans/filter 2d/filter 2d.html， 让 我 们 一 
起 看 下 这 个 例子 : 


#include "opencv2/imgproc/imgproc.hpp" 
#include "opencv2/highgui/highgui.hpp" 
include <stdlib.h> 

include <stdio.h> 


using namespace Cv; 


/** @function main */ 
int main ( int argc, char** argv ) 
/// Declare variables 

Mat src, dst; 


Mat kernel; 
Point anchor; 
double delta; 
int ddepth; 

int kernel size; 


char window name[] - "filter2D Demo"; 
int Cc; 


/// Load an image 
src - imread( argv[1] ); 


if( !src.data ) 
{ return -1; | 


/// Create window 
namedWindow( window name, CV WINDOW AUTOSIZE 


/// Initialize arguments for the filter 
anchor - Point( -1, -1 ); 


delta = 0; 
ddepth = -1; 
/// Loop - Will filter the image with different kernel sizes each 
0.5 seconds 
int ind = 0; 
while( true ) 
{ 
c = waitKey (500); 
/// Press 'ESC' to exit the program 
if( (char)c == 27 ) 
( break; } 


/// Update kernel size for a normalized box filter 
kernel size = 3 + 2*( ind$5 ); 
kernel = Mat::ones( kernel size, kernel size, CV 32F )/ 
(float) (kernel size*kernel size); 


/// Apply filter 
filter2D(src, dst, ddepth , kernel, anchor, delta, 
BORDER DEFAULT ); 


imshow( window name, dst ); 


ind++; 


return 0; 


代码 产生 的 效果 可 以 在 下 图 中 看 到 |: 
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滤波 的 图 像 和 大 幅度 滤波 的 图 像 。 


对 线性 滤波 器 的 参数 进行 初始 化 。 在 这 个 例子 的 上 下 文 里 ，anchor 物 体 用 来 表示 滤波 器 模板 的 销 点 : 


anchor = Point -ly =1 7; 
delta = O0; 
ddepth = -1; 
定义 滤波 器 的 模板 : 
kernel size = 3 + 2*( ind$5 ); 
kernel = Mat::ones( kernel size, kernel size, CV 32F )/ 


(float) (kernel size*kernel size); 
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filter2D(src, dst, ddepth , kernel, anchor, delta, 
BORDER DEFAULT ) ; 


直方 图 是 对 图 像 中 亮度 等 级 的 计数 。 对 直方 图 的 分 析 可 以 给 出 很 多 图 像 对 比方 面 的 有 用 信息 。 图 像 的 直方 图 对 图 像 处 理 的 很 
多 领域 都 非常 重要 ， 尤 其 是 在 压缩 、 分 割 和 立 值 万 面 。 


现在 介绍 直方 图 均衡 化 操作 。 这 个 操作 是 一 种 调整 图 像 强度 来 增强 对 比 度 的 技术 ， 代 码 如 下 : 


cvtColor( frameIn, frameln, CV BGR2GRAY ); 
equalizeHist( frameIn, frameOut ); 


equalizeHist 消 数 会 市 来 如 下 图 所 示 的 效果 : 


右边 的 图 像 是 均衡 化 后 的 图 像 ， 更 加 生动 ， 颜 色 也 更 加 艳丽 。 我 们 可 以 轻易 地 区 分 出 物体 来 。 


现在 看 下 代码 的 实现 。 首 先 要 把 图 像 转换 成 灰 度 图 : 
cvtColor( frameIn, frameln, CV BGR2GRAY ); 


FARR SUZ T EU EIERNE : 


equalizeHist( frameIn, frameOut ); 


48 ”本 草 的 实践 项 目 


让 我 们 实践 下 本 章 已 经 提 到 的 滤波 器 。 有 了 这 个 综合 性 的 OpenCV 项 目 ， 你 可 以 看 到 在 给 定 图 像 上 滤波 器 产生 的 效果 ， 并 且 
你 还 可 以 改变 参数 来 看 到 效果 的 变化 。 


这 个 项 目 在 独立 的 窗口 分 别 使 用 了 Canny、Sobel、 腐 刨 、 膨 胀 和 羡 值 操作 ， 每 个 窗口 都 有 滑动 条 可 以 动态 地 改变 滤波 器 参 
数 从 而 动态 改变 处 理 后 的 图 像 效 果 。 请 注意 ， 练 习 是 理解 这 些 概 念 唯一 的 方法 。 学 习 完 这 个 项 目 之 后 ， 请 更 换代 码 来 看 看 都 有 哪 


些 变化 。 


除了 动态 操作 和 能力 以 外 ， 我 们 把 每 个 操作 用 一 个 函数 来 实现 ， 分 别 是 cannyOperation、sobelOperation、 
erosionOperation、dilationOperation 和 thresholdingOperation， 这 样 代码 更 加 模块 化 也 更 加 清晰 。 让 我 们 来 看 以 下 代码 : 


#include "opencv2/imgproc/imgproc.hpp" 
#include "opencv2/highgui/highgui.hpp" 
#include <stdlib.h> 
#include <stdio.h> 


using namespace cv; 

/// Definetions 

#define MAX BINARY VALUE (255) 
#define MID BINARY VALUE (127) 
#define SOBEL X DERIVATIVE (1) 
#define SOBEL Y DERIVATIVE (1) 
#define SOBEL MAX KERNEL SIZE (15) 
#define SOBEL DELTA (0) 

#define SOBEL SCALE (1) 

#define SOBEL DEPTH (CV 8U) 

#define CANNY KERNEL SIZE (3) 

#define CANNY MAX LOW THRESHOLD (100) 
#define CANNY RATIO (3) 

#define MAX MORPHOLOGY KERNEL SIZE (21) 
/// Global Variables 


Mat frameIn, frameInGray,frameOut, frameInBinary; 


/// Canny Variables 
int canny low threshold; 


/// Sobel Variables 
int sobel kernel size - 0; 


/// Erosion and Dilation Variables 
int erosion kernel - 0, dilation kernel - 0; 


/// Thresholding Variables 

int threshold value - MID BINARY VALUE; 
/// Function Prototypes 

void cannyOperation(int, void*); 

void sobelOperation(int, void*); 

void erosionOperation( int, void* ); 

void dilationOperation( int, void* ); 
void thresholdingOperation( int, void* ); 


/// Main Function 
int main( int argc, char** argv ) 


| 


frameIn - imread( argv[1] ); 


if( !frameIn.data ) 
{ return -1; } 


///Apply Smoothing 
GaussianBlur(framelIn, frameIn, S1ize(3,3), 0.0); 


/// Convert Source 
cvtColor( frameIn, framelnGray, CV BGR2GRAY ) ; 


/// Create Windows 

namedWindow( "Canny Operation", CV WINDOW AUTOSIZE ); 
namedWindow( "Erosion Operation", CV WINDOW AUTOSIZE ); 
namedWindow( "Dilation Operation", CV WINDOW AUTOSIZE ); 
namedWindow( "Sobel Operation", CV WINDOW AUTOSIZE ); 
namedWindow( "Thresholding Operation", CV WINDOW AUTOSIZE ); 


/// Create Trackbars for Canny, Sobel, Erosion, Dilation, and 
Thresholding Operations 


createTrackbar( "Low Threshold:", "Canny Operation", 
&canny low threshold, CANNY MAX LOW THRESHOLD, cannyOperation ) ; 
createTrackbar( "Kernel size:", "Sobel Operation", 
&sobel kernel size, SOBEL MAX KERNEL SIZE, sobelOperation ); 
createTrackbar( "Kernel size:", "Erosion Operation", 


&erosion kernel, MAX MORPHOLOGY KERNEL SIZE, erosionOperation ); 


createTrackbar( "Kernel size:", "Dilation 


Operation",&dilation kernel, 
MAX MORPHOLOGY KERNEL SIZE,dilationOperation ) ; 


createTrackbar( "Threshold Value", "Thresholding Operation", 
&threshold value, MAX BINARY VALUE, thresholdingOperation ); 


/// Call Filter Functions 
cannyOperation(0, 0); 
sobelOperation(0,0); 
dilationOperation(0, 0); 
erosionOperation(í(0, 0); 
thresholdingOperation(0, 0); 


/// Wait until user exit program by pressing a key 
waitKey(0); 


return 0; 


" 
* @function cannyOperation 
* 
ii 
void cannyOperation(int, void*) 
{ 
/// Canny detector 
Canny( frameInGray, frameOut, canny low threshold, 
canny low threshold*CANNY RATIO, CANNY KERNEL SIZE ); 
imshow( "Canny Operation", frameOut ); 


/** 
* @function sobelOperation 
* 


*/ 
void sobelOperation(int, void*) 
{ 
///Sobel 
Sobel( frameInGray, frameOut, SOBEL DEPTH, SOBEL X DERIVATIVE, 
SOBEL Y DERIVATIVE, 2*sobel kernel size«1, SOBEL SCALE, 
SOBEL DELTA, BORDER DEFAULT ) ; E 7 
imshow( "Sobel Operation", frameOut ); 


/** 
* @function erosionOperation 
* 


ui 
void erosionOperation( int, void* ) 


| 


threshold( frameInGray, 


frameInBinary, MID BINARY VALUE, 


MAX BINARY VALUE, THRESH BINARY); 
Mat element = getStructuringElement ( MORPH RECT, 


1, 2*erosion kernel-41 ), 


erosion kernel ) ); 


Size( 2*erosion kernel + 


Point( erosion kernel, 


/// Apply the erosion operation 
erode( frameInBinary, frameOut, element ); 


imshow( "Erosion Operation", frameOut ); 


/** 


* @function dilationOperation 


* 


=y 


void dilationOperation( int, void* ) 


| 


threshold( frameInGray, 


frameInBinary, MID BINARY VALUE, 


MAX BINARY VALUE,THRESH BINARY); 
Mat element = getStructuringElement ( MORPH RECT, 


1, 2*dilation kernel+1 ), 


dilation kernel ) ); 


Size( 2*dilation kernel 


Point( dilation kernel, 


/// Apply the dilation operation 


dilate( frameInBinary, 


frameOut, element ); 


imshow( "Dilation Operation", frameOut ); 


} 
/** 


* @function thresholdingOperation 


* 


a 


void thresholdingOperation( int, void* ) 


| 


threshold( frameInGray, 


frameOut, threshold value, 


MAX BINARY VALUE,THRESH BINARY ); 
imshow( "Thresholding Operation", frameOut ); 
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(Re FmainERZA : 


int main( int argc, 


| 


char** argv ) 


frameIn - imread( argv[1] ); 
if( !frameIn.data ) 
{ return -1; } 


///Apply Smoothing 
GaussianBlur(frameIn, frameIn, Size(3,3), 0.0); 


/// Convert Source 
cvtColor( frameIn, frameInGray, CV BGR2GRAY ) ; 


/// Create Windows 

namedWindow( "Canny Operation", CV WINDOW AUTOSIZE ); 
namedWindow( "Erosion Operation", CV WINDOW AUTOSIZE ); 
namedWindow( "Dilation Operation", CV WINDOW AUTOSIZE ); 
namedWindow( "Sobel Operation", CV WINDOW AUTOSIZE ); 
namedWindow( "Thresholding Operation", CV WINDOW AUTOSIZE ); 


/// Create Trackbars for Canny, Sobel, Erosion, Dilation, and 
Thresholding Operations 


createTrackbar( "Low Threshold:", "Canny Operation", 
&canny low threshold, CANNY MAX LOW THRESHOLD, cannyOperation ); 
createTrackbar( "Kernel size:", "Sobel Operation", 
&sobel kernel size, SOBEL MAX KERNEL SIZE, sobelOperation ); 
createTrackbar( "Kernel size:", "Erosion Operation", 
&erosion kernel, MAX MORPHOLOGY KERNEL SIZE, erosionOperation ); 
createTrackbar( "Kernel size:", "Dilation 


Operation",&dilation kernel, 
MAX MORPHOLOGY KERNEL SIZE,dilationOperation ) ; 


createTrackbar( "Threshold Value", "Thresholding Operation", 
&threshold value, MAX BINARY VALUE, thresholdingOperation ); 


/// Call Filter Functions 
cannyOperation(0, 0); 
sobelOperation(0,0); 
dilationOperation(0, 0); 
erosionOperation(0, 0); 
thresholdingOperation(0, 0); 


/// Wait until user exit program by pressing a key 
waitKey (0); 


return O0; 


首先 ， 我 们 对 源 图 像 进行 加 载 然 后 判断 它 是 否 正常 加 载 。 因 为 我 们 想 在 过 滤 之 前 进行 平滑 操作 ， 所 以 我 们 对 源 图 像 使 用 了 平 
滑 操 作 并 用 操作 后 的 图 像 履 基 了 最 初 的 图 像 。 做 完 平滑 操作 以 后 ， 我 们 将 图 像 转 换 为 灰 度 图 以 便 为 后 续 的 过 滤 操 作 准 备 好 合适 的 
图 像 类 型 。 


然后 为 每 个 过 滤 操 作 创建 一 个 窗口 并 且 创 建 对 应 的 滑动 条 ， 还 会 在 滑动 条 上 写 上 文字 表明 是 针对 哪个 操作 ， 窗 口 也 绑 定 了 对 
应 操作 的 名 字 ， 还 要 创建 变量 来 保存 滑动 条 的 值 、 设 置 滑动 条 允许 的 最 大 值 ， 并 为 滑动 条 绑 定 函 数 ， 这 样 当 滑 动 条 变化 的 时 候 可 
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void cannyOperation(int, void*) 


Canny( frameInGray, frameOut, canny low threshold, 
canny low threshold*CANNY RATIO, CANNY KERNEL SIZE ); 


imshow( "Canny Operation", frameOut ); 


34Cannyf FEET LIBS;S JRZ, cannyOperationERZA JS FH. ERAS FH ERG SERICanny low threshold 来 重 
新 计算 ， 经 过 函数 处 理 后 的 图 像 会 显示 企 同一 个 窗口 中 。 在 这 个 MENO NERVE. EFRR 
(JÆ FsobelOperationggZk : 


void sobelOperation(int, void*) 


{ 

Sobel( framelnGray, frameOut, SOBEL DEPTH, SOBEL X DERIVATIVE, 
SOBEL Y DERIVATIVE, 2*sobel kernel size«1, SOBEL SCALE, 
SOBEL DELTA, BORDER DEFAULT ); 

imshow( "Sobel Operation", frameOut ); 


sobelOperation f š 2y RgOpenCVRSsobelERZi, RAMEE FANART. 


SOBEL X_DERIVATIVE 和 SOBEL Y_DERIVATIVE 分 别 代 表 x 轴 和 y 轴 模板 导数 的 顺序 。 这 两 个 值 都 被 设 为 1。 过 滤 操 作 完 成 
后 ， 新 生成 的 图 像 会 被 展示 在 Sobel 操 作 窗 口中 : 


void erosionOperation( int, void* ) 

threshold( frameInGray, frameInBinary, MID BINARY VALUE, MAX BINARY 
VALUE, THRESH BINARY); 

Mat element - getStructuringElement( MORPH RECT, Size( 2*erosion 
kernel + 1, 2*erosion_kernel+1 ), 
Pointí( erosion kernel, erosion kernel ) ); 

// Apply the erosion operation 

erode( frameInBinary, frameOut, element ); 

imshow( "Erosion Operation", frameOut ); 


对 于 腐蚀 操作 ， 首 先 把 framelnGray 代 表 的 图 像 二 值 化 。 然 后 根据 滑动 条 的 变化 来 构建 模板 。 之 后 ， 我 们 用 构建 的 像 矩 形 的 
模板 调用 erode 函 数 来 更 新 图 像 。 我 们 是 通过 getStructuringElement 函 数 的 第 一 个 参数 为 MORPH RECT 来 设 定 模板 的 形状 
的 。 像 往常 一 样 ， 用 imshow 遂 数 将 新 生成 的 图 像 展 示 出 来 。 让 我 们 看 下 dilationOperation 尔 数 : 


void dilationOperation( int, void* ) 
| 


threshold( frameInGray, frameInBinary, MID BINARY VALUE, MAX BINARY 
VALUE,THRESH BINARY); 


Mat element = getStructuringElement ( MORPH RECT, Size( 2*dilation 


kernel «1, 2*dilation kernel«1 ), Point( dilation kernel, dilation 
kernel ) ); 


dilate( frameInBinary, frameOut, element ); 


imshow( "Dilation Operation", frameOut ); 


dilationOperation 阔 数 里 的 操作 和 erosionOperation 逆 数 里 的 很 像 。 如 同 在 腐蚀 过 程 中 做 的 那样 ， 我 们 通过 
getstructuringElement 子 数 构建 模板 并 使 用 dilate 阔 数 来 对 图 像 进行 脱 胀 处 理 。 让 我 们 看 下 thresholdingOperation 函 数 : 


void thresholdingOperation( int, void* ) 


threshold( frameInGray, frameOut, threshold value, 
MAX BINARY VALUE,THRESH BINARY ) ; 


imshow( "Thresholding Operation", frameOut ); 


SROs Mea, eWHthresholdingOperationggZi, OpenCV RERS ERHET [ER E. ERE 
FANART AAARMEANESSCETHRESH BINARY, i&idimshowERSZATEXJ NES emer eae gk. 
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JONE 


在 这 一 章 中 ， 你 了 解 了 OpenCV 的 过 渡 机 制 ， 也 了 解 了 最 常见 的 过 滤 技 术 和 如 何 正确 地 使 用 它们 。 在 本 章 的 实践 项 目 中 ,我 
们 实现 了 一 个 绿 合 性 的 过 滤 应 用 程序 ， 在 这 个 程序 中 你 可 以 看 到 不 同 的 滤 肖 器 所 产生 的 不 同 效果 。 


通过 正确 的 过 滤 视 部 数据 ， 已 经 为 数据 处 理 做 好 了 准备 ! 准备 好 迎接 下 一 章 吧 ! 下 一 章 摘 述 了 对 图 像 数据 的 处 理 ， 通 单 仅仅 
是 对 一 个 小 数据 集 进 行 处 理 。 


第 5 草 ”用 DpenCV 进 行 视 部 数 据 处 理 


在 本 章 中 ， 你 将 了 解 到 如 何 对 数据 应 用 处 理 扩 术 来 从 图 像 或 者 视频 中 提取 有 意义 的 特征 。 你 将 学 到 一 些 用 来 从 海量 图 像 数 据 
提取 小 块 有 意义 信息 的 方法 。 最 后 ， 你 将 使 用 提取 出 来 的 有 总 义 的 特征 进行 一 些 基本 的 检测 。 这 一 草 会 让 你 对 从 视 完 数据 (比如 
图 像 或 者 视频 ) 如 何 提取 特征 有 一 个 广泛 的 了 解 ， 而 且 也 会 拓展 相关 的 OpenCV 知 识 结构 。 


5.1 ”提取 特征 


钢 完 数 据 本 身 是 一 个 多 维 像素 数组 ， 当 我 们 看 到 这 种 类 型 的 数据 时 ， 我 们 的 大 脑 可 以 直观 地 从 里 面 提取 人 信息。 事实 上 ， 从 数 
据 中 提取 抽象 信息 是 一 个 非常 复杂 的 操作 。 这 个 操作 需要 接收 海量 的 0 和 1 作为 输入 并 从 这 些 数据 中 归纳 出 一 个 结论 ， 比 如 “ 没 
错 ， 这 是 一 辆 车 ! ”有 了 时 甚至 能 更 进一步 “这 是 三 迪 的 车 ! ”也 许 这 个 处 理 过 程 对 你 来 说 是 非常 容易 的 ， 但 是 对 于 计算 机 
来 说 并 非 如 此 。 


计算 机 和 人 脑 的 工作 原理 大 不 相同 。 结 果 束 是 计算 机 在 做 计算 的 时 候 非 党 强大， 而 人 脑 在 一 些 抽 缚 任务 比如 场景 解释 的 时 候 
更 有 威力 。 因 此 ， 本 章 要 实现 的 其 实 是 计算 机 科学 的 弱项 。 尽 管 如 此 ， 还 是 肯定 可 以 通过 计算 机 来 智能 地 解释 场景 ， 但 是 从 视 痪 
数据 中 提取 有 意义 数据 的 方法 是 一 种 间接 地 达到 目标 的 方法 。 学 习 这 种 间接 的 万 法 对 于 理解 计算 机 视 党 科学 的 智能 部 分 来 说 是 不 
可 或 缺 的 。 


因为 视 总 数据 是 由 包 合 海 量 数 字 的 数据 组 成 的 ， 而 原始 的 计算 机 能 力主 要 是 强人 在 计算 上 ， 解 决 的 万 法 是 从 图 像 中 提取 一 个 更 
具有 摘 述 性 的 小 规模 数字 集 ， 这 个 过 程 裤 称 为 特征 提取 过 程 。 


OpenCV 对 于 特征 提取 方法 提供 了 大 量 的 文 持 ， 从 简单 的 操作 到 复杂 的 操作 一 应 俱全 。 即 使 是 一 个 复杂 的 算法 ， 使 用 起 来 也 
非常 简单 。 在 本 草 中 ， 我 们 将 着 眼 于 最 重要 的 特征 提取 机 制 并 在 处 理 过 程 中 给 出 提示 。 计 算 机 视 腕 处 理 过 程 中 的 特征 提取 阶段 是 
非常 重要 的 ， 因 为 检测 和 识别 都 要 依赖 特征 提取 收集 的 信息 。 


5.2 Bae 


现在 我 们 知道 了 如 何 从 视 营 数据 中 提取 有 意义 的 特征 ， 也 知道 了 如 何 提取 一 小 部 分 有 用 信息 来 总 结 图 像 数据 以 及 如 何 使 用 这 
些 信息 来 达到 更 高 层 的 目的 。 通 过 这 一 草 你 还 了 解 了 特征 提取 算法 的 优 缺 点 。 

在 这 个 过 程 中 ， 你 看 到 一 些 高 层次 任务 比如 分 割 或 者 检测 是 如 何 完成 的 ， 在 下 一 草 中 ， 我 们 将 具体 完成 这 些 更 高 层次 的 任 
务 ! 所 以 再 次 提醒 大 家 ， 请 在 特征 检测 的 示例 应 用 上 工作 ， 以 便 充 分 理解 谈论 的 主题 并 为 视 总 系统 的 智能 化 做 好 准备 ! 


第 6 章 ”用 OpenCV 进 行 识别 


本 草 是 关于 识别 方法 的 ， 识 别 一 般 用 于 视 党 处 理 结尾 的 地 方 得 出 最 终 的 结论 。 通 剃 情况 下 ， 一 个 计算 机 视 党 系统 从 传感器 数 
据 中 提取 信息 并 通过 诸如 检测 、 分 类 或 是 识别 万 法 得 到 一 个 结论 。 得 到 结论 的 过 程 是 在 特征 提取 过 程 之 后 ， 也 束 是 识别 阶段 。 本 
草 将 通过 实践 的 方法 来 简要 地 介绍 识别 过 程 ， 你 将 在 这 个 过 程 中 了 解 OpenCV 提 供 的 识别 能 力 以 及 更 多 其 他 方面 的 知识 ! 本 章 将 
帮助 你 实现 基于 视 况 的 应 用 程序 的 大 脑 。 


6.1 构建 一 个 可 以 思考 的 应 用 程序 


人 们 每 天 要 做 很 多 决定 。 尽 管 做 决定 对 于 大 脑 来 说 是 很 容易 和 目 然 的 过 程 ， 但 图 像 处理 中 的 决定 仍然 不 容易 制定 。 考 虑 到 计 
算 机 强 于 计算 但 是 认 知 能 力 很 差 ， 决 策 过 程 融 成 为 开 友 图 像 处 理 程序 中 的 一 个 挑战 。 尽 管 如 此 ， 让 视 况 应 用 程序 拥有 识别 能 力 是 
一 个 非常 让 人 振 盏 和 激动 的 工作 。 


己 之 前 几 章 提 到 的 特征 提取 阶段 相似 ， 决 策 过 程 也 可 以 使 用 计算 机 的 计算 能 力 来 为 决策 提供 一 个 坚实 的 基础 。 因 此 将 视 完 数 
据 进 行 归纳 后 作为 输入 是 有 帮助 的 ， 并 使 用 整理 过 的 输入 基于 数学 方法 来 做 决策 。 因 此 构建 一 个 用 数学 万 法 做 决策 的 视 竞 应 用 程 
序 是 可 行 的 。 


让 我 们 看 下 最 弟 见 的 计算 机 视 腕 认 知 方面 的 名 词 一 一 检测 、 分 类 、 追 路 和 识别 。 检 测 通 剃 是 对 存在 性 做 一 个 基本 的 判定 。 
如 果 你 还 记得 前 几 章 的 桌面 物体 检测 例子 ， 其 实 那 束 是 一 个 检测 : 物体 存在 还 是 不 存在。 如 果 虹 面 上 没有 检测 到 物体 ， 那 么 算法 
的 结论 是 桌子 是 空 的。 在 这 种 情况 下 ， 有 两 种 类 型 的 决定 ， 也 可 以 被 认为 是 有 两 个 基本 类 别 的 分 类 应 用 程序 。 有 可 能 开发 一 些 更 
加 复杂 的 分 类 应 用 程序 ， 比 如 支持 5 个 手势 的 手势 识别 程序 。 在 这 个 例子 中 ， 手 势 的 识别 是 在 对 手 的 检测 之 后 进行 的 。 正 如 你 
到 的 ， 识 别 是 一 个 更 加 复杂 的 决策 过 程 ， 需 要 基于 一 个 检测 算法 的 结果 并 且 还 包含 了 一 个 识别 阶段 。 追 中 也 是 一 个 重要 的 术语 ， 
它 要 在 一 帧 中 检测 到 一 个 特定 的 物体 或 者 事件 ， 然 后 在 所 有 帧 中 识别 出 相同 的 东西 。 追 综 也 可 以 被 定义 为 在 一 个 随时 间 变 化 的 视 
频 流 中 定位 一 个 物体 或 者 事件 。 所 以 ， 在 这 个 过 程 中 需要 帧 与 帧 之 间 的 关系 。 追 味 类 似 于 检测 与 识别 ,不同 之 处 在 于 追 味 要 找 出 
帧 与 帧 之 间 的 关系 。 因 为 识别 是 一 个 复杂 的 术语 ， 所 以 在 本 章 剩 余 的 内 容 里 它 会 用 来 指 代 所 有 的 认 知 概念 。 


OpenCV 对 识别 有 很 好 的 支持 ， 人 允许 你 为 应 用 程序 实现 一 个 简单 的 大 脑 。 即 使 是 实现 起 来 非常 复杂 的 算法 ， 使 用 起 来 也 是 非 
常食 单 并 且 易 于 使 用 的 。 在 本 章 中 ， 我 们 将 处 理 最 重要 的 认 知 技术 以 便 让 视 党 应 用 程序 能 够 做 决策 。 识 别 阶 段 的 成 功率 取决 于 视 
胸 过 程 的 处 理 结果 。 通 过 借助 前 面 几 章 的 信息 ， 本 章 将 讲授 如 何 构 建 具有 高 识别 能 力 的 智能 视 党 应 用 程序 。OpenCV 中 的 目标 检 
测 和 机 器 学 习 库 将 对 我 们 实现 识别 功能 有 很 大 的 帮助 。 


也 可 以 在 应 用 程序 中 使 用 第 三 方 的 机 器 学 习 和 模式 识别 库 。 你 甚至 可 以 完全 目 己 实现 分 类 、 检 测 、 识 别 、 追 趴 等 功能 。 使 用 
OpenCVv 中 的 机 器 学 习 和 物体 检测 库 的 好 处 是 它 的 实现 已 经 经 过 优化 了 。 但 是 如 果 需 要 的 话 ， 你 总 是 可 以 给 应 用 程序 添加 第 三 方 
库 。 


我 们 过 论 的 图 像 处 理 原 则 同样 可 以 用 于 Arduino 获 取 的 传感器 数据 。 此 外 ， 由 于 资源 的 限制 ， 不 可 能 或 者 说 无 法 有 效 地 在 
Arduino 环 境 下 实现 复杂 的 识别 算法 。 最 好 是 使 用 提取 后 的 Arduino 提 供 的 传感器 信息 作为 视觉 算法 的 补充 信息 ， 以 便 提 高 计算 
机 视 完 应 用 程序 的 识别 能 力 。 


6.2 Ri 


在 本 章 中 ， 你 了 解 了 识别 过 程 背 后 的 理念 ， 以 及 如 何在 OpenCV 应 用 中 使 用 识别 过 程 ! 本 章 还 介绍 了 最 常见 的 检测 和 识别 技 
术 ， 所 以 现在 你 应 该 知道 如 何 处 理 这 类 问题 。 

机 器 学 习 是 一 个 宽泛 的 话题 ， 有 很 多 书籍 专门 论述 这 个 话题 。 但 是 一 旦 你 理解 了 机 器 学 习 的 思路 并 且 杀 目 动手 进行 了 一 些 实 
践 后 ， 你 束 知 道 该 如 何 使 用 机 器 学 习 了 。 这 样 你 束 可 以 解决 一 些 非常 复杂 的 问题 了 。 


在 最 后 一 章 有 一 个 现实 生活 中 的 例子 ， 会 涉及 识别 的 处 理 。 所 以 试 着 去 理解 识别 背后 的 理念 并 阅读 机 器 学 习 、 视 频 和 物体 检 
测 模块 的 OpenCV 文 档 。 这 将 帮助 你 理解 所 有 这 些 概 仿 ， 并 将 这 些 拉 术 用 于 上 自己 的 应 用 程序 中 |! 


下 一 步 是 关于 Arduino 和 OpenCV 之 间 的 通信 。 准 备 好 开始 学 习 下 一 章 ! 


第 7 章 ”用 OpenCV 与 Arduino 进 行 通信 


我 们 已 经 讨论 了 从 数据 采集 到 识别 等 计算 机 视 名 主题 。 我 们 还 讨论 了 如 何 从 环境 中 收集 传感器 数据 。 现 在 是 时 候 在 设备 之 间 
建立 稳定 的 通信 了 。Arduino 和 计算 机 之 间 需 要 一 条 通信 线路 ， 这 样 传感器 数据 才能 和 计算 机 视 守 工程 结合 。 这 条 通信 线路 还 有 
一 个 存在 的 意义 在 于 要 把 计算 机 视 完 处 理 的 结论 转换 成 物理 输出 。 在 本 草 中 ， 我 们 将 寺 论 Arduino 和 计算 机 之 间 的 通信 。 我 们 也 
会 看 下 设备 间 信 息 交 换 的 最 佳 实践 是 怎样 的 。 这 一 章 将 帮助 你 在 Arduino 和 智能 代理 之 间 设 计 一 条 健壮 的 通信 通道 。 有 线 和 无 线 
通信 接口 都 会 用 到 。 你 会 观察 到 通信 的 意义 不 仅 仪 是 物理 连接 ， 信 息 交 换 和 信息 建 模 背 后 的 想法 同样 也 是 非常 重要 的 。 


7.1 与 Arduino 进 行 通信 


Arduino Uno R3 是 一 个 基于 ATmega328 微 控制 器 的 开发 板 。Arduino Uno R3 的 通信 和 能力 依赖 于 ATmega328 微 控制 器 的 
性 能 。 由 于 ATmega328 硬 件 上 有 一 个 串 行 外 设 接口 (SPI) 和 一 个 通用 同步 串 行 收 上 器 (USART) 模块 ， 所 以 它 能 向 用 户 提供 
非常 强大 的 通信 和 能力。 


Arduino 最 重要 的 优势 之 一 就 是 它 对 于 各 种 各 样 的 拓展 板 和 模块 有 海量 的 社区 支持 和 免费 软件 库 。 大 量 的 通信 拓展 板 都 支持 
Arduino Uno， 这 使 得 用 户 有 机 会 为 目标 应 用 挑选 最 合适 的 通信 拓展 板 。 通 信 拓 展板 和 软件 库 的 结合 大 大 加 快 了 应 用 程序 的 原 
型 开发 。 


用 系统 分 层 的 方法 来 看 系统 设计 ， 不 同 设备 乙 间 的 信息 传输 需要 通信 接口 。 在 这 个 方案 中 ，Arduino 应 该 和 视觉 控制 器 在 物 
理 属性 和 数据 传输 的 内 容 上 达成 一 致 。 当 Arduino 向 视 党 控制 器 友 送 传感器 信息 的 时 候 ， 视 党 控制 器 应 该 知道 数据 格式 ， 以 便 能 
够 解析 和 理解 这 些 数据 。 这 种 共识 可 以 通过 应 用 层 的 通信 协议 来 达成 。 借 助 这 样 实现 的 展 好 通信 协议 ， 有 效 的 传输 数据 是 完全 可 
能 的 。 本 章 将 会 处 理 这 样 一 个 应 用 程序 层 的 通信 协议 。 这 种 做 法 最 好 的 地 方 在 于 你 可 以 把 这 个 通信 协议 用 到 任意 的 物理 通信 接 
口 ， 无 论 接口 是 有 线 的 还 是 无 线 的 。 因 此 ， 应 用 层 的 通信 将 是 与 硬件 无 天 的 。 这 意味 着 使 用 同一 个 软件 残 可 以 既 文 持 有 绪 连 接 又 
又 持 无 线 连接 来 友 大 信息 。 


在 双 同 通信 方案 中 ， 无 论 是 Arduino 系 统 还 是 视 党 控制 器 都 应 该 能 在 消息 友 送 之 前 将 数据 打包 到 消息 里 面 。 相 应 
的 ，Arduino 系 统 和 视 况 控制 器 要 能 够 解析 接收 到 的 协议 消息 来 提取 消息 里 面 的 数据 。 这 意味 着 要 在 软件 中 实现 一 个 消息 打包 器 
和 一 个 消息 解析 器 。 在 本 章 中 ， 你 将 学 习 如 何在 Arduino 系 统 和 视觉 控制 器 上 实现 这 些 通信 和 功能。 


在 使 用 OpenCV 与 Arduino 进 行 通信 的 时 候 ， 我 们 需要 考虑 这 两 个 平台 的 通信 和 能力 。 当 然 ， 两 者 都 必须 在 相同 类 型 的 通信 信 
道上 工作 。 将 Arduino 连 接 到 计算 机 或 微型 计算 机 的 最 简单 的 方法 是 使 用 通用 串 行 忌 线 (USB) 接口 。 


T 
R Ç 


一 通常 情况 下 ， 通 用 同步 串 行 收发 器 (USART) 是 非常 简单 的 ， 而 通用 串 行 总 线 (USB) 则 是 一 个 复杂 的 通信 线路 ， 但 是 


Arduino Uno 使 用 了 虚拟 COM 端 口 (VCP) USB 配 置 文件 ， 这 使 得 通信 变 得 非常 简单 ! 虚拟 COM 端 口 (VCP) 驱动 程序 可 以 让 计 
算 机 像 使 用 串 行 COM 端 口 那 样 使 用 USB。 在 硬件 方面 ，ATmega328 的 通用 同步 串 行 收发 器 (USART) 引 脚 是 与 USB-VCP 转 换 集 成 
电路 的 通用 同步 串 行 收 发 器 (USART) 引 脚 相连 的 ， 所 有 的 转换 都 将 由 这 个 集成 电路 来 完成 。 借 助 Arduino 硬 件 架 构 的 帮助 ， 你 


只 需要 写 一 些 简单 的 串 行 端口 代码 ， 所 有 的 数据 就 可 以 通过 USB 连 接线 进行 传送 。 当 你 把 USB 线 插入 计算 机 后 ，VCP 了 驱动 程序 将 
被 激活 ， 而 你 的 操作 系统 将 检测 到 Arduino， 并 将 其 作为 一 个 VCP 设 备 进行 处 理 。 这 意味 着 你 可 以 通过 一 些 简单 的 串 行 端口 程序 
在 Atduino 上 进行 通信 。 


为 了 减少 软件 复杂 性 ， 不 同类 型 的 USART 转 换 器 (比如 VCP) 能 够 用 于 建立 不 同类 型 的 通信 信道 。 它 可 以 通过 一 个 带 
USART 接 口 的 低 功 耗 蓝 牙 (BLE) 模块 经 由 BLE 进 行 通 信 。 在 这 种 情形 下 ， 当 你 通过 与 BLE 模 块 相连 的 USART 接 口上 友 送 任何 数据 
时 ， 数 据 都 是 通过 BLE 传 送 的 。ZigBee 通 信 的 情况 也 是 一 样 的 ，XBee 模 块 (这 是 一 个 ZigBee 模 块 ) 通过 USART 接 口 与 Arduino 
相连 ， 如 果 你 正确 设置 了 XBee 并 且 通 过 USART 接 口传 送 数据 ， 数 据 将 通过 ZigBee 协 议 上 有 送 。 这 种 软件 编程 的 通用 性 让 开 友 变 得 


更 加 容易 。 


现在 让 我 们 看 下 与 Arduino 相 连接 的 视 完 控制 器 部 分 。 正 如 你 所 知道 的 那样 ，OpenCV 是 一 个 多 平台 库 。 这 意味 着 它 可 以 在 
各 种 操作 系统 上 运行 。 这 一 事实 也 意味 着 通信 软件 可 以 运行 于 OpenCV 所 支持 的 任意 一 个 平台 上 。 正 因 如 此 ， 视 觉 控 制 器 上 的 通 
信和 软件 是 通过 Java 实 现 的。 此 外 ， 你 将 看 到 该 软件 是 通用 的 ， 如 果 你 想 用 .NET 或 者 另外 一 个 框架 ， 你 可 以 方便 地 切换 到 这 些 框 


现在 逐个 介绍 这 些 主题 ， 并 为 动手 实践 做 好 准备 ! 


71.2 ”用 Java 进 行 通 信 


Arduino IDE 的 串口 监视 器 可 以 用 来 与 Arduino 进 行 通信 ， 虽 然 用 起 来 很 简单 但 是 功能 却 很 受 限 。 许 多 计算 机 视 党 应 用 程序 
需要 目 动 化 和 专门 的 通信 体系 结构 。 想 稼 一 下 你 想 要 在 用 户 按 下 一 个 按钮 的 时 候 运 行 一 个 人 脸 检 测算 法 。 这 是 我 们 在 前 几 章 讨论 
过 的 门铃 按键 会 触发 人 脸 识别 应 用 程序 的 例子 。 在 这 种 情况 下 ，Arduino 应 该 发 送 按键 按 下 的 信息 给 视觉 控制 器 而 通信 控制 器 应 
该 局 动人 脸 检 测算 法 。 你 已 经 知道 如 何 通 过 串口 友 送 按键 按 下 的 信息 ， 缺 失 的 部 分 如 何 理 解 这 个 消息 以 及 如 何在 视 完 控制 器 调用 
人 脸 检 测算 法 。 


另外 一 个 用 例 是 把 视觉 控制 器 的 输出 或 者 说 是 决策 发 送 给 Arduino 系 统 并 让 Arduino 做 出 反应 。 在 由 门铃 按键 触发 的 人 脸 识 
别 应 用 程序 中 ， 视 觉 控制 器 应 该 发 送 一 个 确认 消息 给 Arduino 系 统 ， 然 后 Arduino 系 统 应 该 驱动 感应 器 或 者 电动 机 来 开门 。 


在 这 两 种 情况 下 ， 视 部 控制 器 的 通信 软件 应 与 计算 机 视 总 软件 相 集 成 。 这 需要 为 通信 续 路 定制 软件 。Arduino 和 视 帝 控制 器 
之 间 的 通信 必须 是 自动 的 。 


因为 OpenCV 是 一 个 支持 多 平台 的 应 用 程序 ， 所 以 有 许多 其 他 选项 可 用 于 通信 和 软件 的 开发 。 在 Windows 平 台 上 ， 可 以 使 用 
Visual C++ 来 整合 视觉 功能 并 且 Windows 通 信 库 可 以 用 于 串 行 通信 。 在 这 种 情况 下 ， 一 个 统一 的 应 用 程序 可 以 被 开 友 成 一 个 单 
独 的 可 执行 文件 。 在 Windows 平 台 上 的 另外 一 个 选择 是 用 C# 和 .NET 来 构建 用 户 界面 和 通信 部 分 。 如 果 你 已 经 用 C++ 开 发 好 了 
视 党 应 用 程序 ， 那 么 你 可 以 把 视 完 应 用 程序 打包 成 一 个 库 ， 然 后 在 C# 应 用 里 面 调用 这 个 库 来 得 到 视 沈 处 理 能 力 。 还 有 一 种 替代 
方案 ， 你 可 以 把 OpenCV 应 用 程序 打包 成 一 个 单独 的 可 执行 文件 ， 然 后 调用 负责 通信 的 C# (NET) 应 用 程序 。 这 些 具体 的 解决 
方案 只 在 Windows 平 台 上 管用 。 


Java 可 以 用 于 多 平台 的 解决 方案 。 用 Java 实 现 的 架构 或 多 或 少 与 我 们 刚才 讨论 的 Windows 平 台 上 的 架构 相同 。 基 于 这 个 原 
因 ，Java 是 视觉 控制 器 通信 软件 开发 环境 的 首选 。OpenCV 有 一 个 Java API， 这 使 得 你 可 以 在 一 个 平台 上 开发 包括 视觉 算法 、 通 
信和 软件 和 用 户 界 面 等 所 有 的 一 切 。 或 者 你 可 以 在 Java 应 用 程序 中 调用 由 任意 OpenCV API 开 友 的 视 营 应 用 程序 ， 而 你 的 Java 应 用 
程序 负责 用 户 界 面 以 及 通信 管理 。 


31i JFEFHJavaJ PA EL CIR, HEFIN EEG emt WES Bat Re Aiea BEF AM FS FS 
程序 。Java 有 几 个 库 可 以 进行 串 行 通信 。RXTX 库 是 一 个 常用 的 捉 行 通信 和 库 ， 它 简化 了 串 行 通信 。 让 应 用 程序 尽 可 能 保持 简单 ， 
将 使 思路 和 想法 更 易于 理解 。 所 以 ， 让 我 们 用 Java 构 建 目 己 的 串 行 通 信和 软件 ! 它 能 运行 在 任何 环境 下 。 


- 3 € 
K 


全 你 可 以 去 RXTX 库 的 主页 来 获得 更 多 的 信息 。RXTX 库 的 主页 是 http://trxtxqbangorge/。 你 可 以 


从 http:/ /rxtx.qbang.org/wiki/index.php/Download 下 载 预先 构建 好 的 支持 多 平台 的 RXTX 库 。 


在 开始 写 代 码 之 前 ， 你 需要 安 疼 好 Java 开 上 友 工 具 包 (JDK) 。 需 要 注意 的 是 JDK 的 平台 版 本 要 和 RXTX 的 平台 版 本 一 致 。 如 果 
你 安 半 的 JDK 的 版 本 是 x86 平 台 的 ， 那 么 你 下 载 的 RXTX 库 也 应 该 是 x86 平 台 的 。 为 了 避免 不 一 致 ， 我 们 建议 使 用 x86/i368 平 台 的 
JDK 和 RXTX 库 。 


在 这 个 应 用 程序 中 ， 我 们 使 用 的 是 2.1-7 版 本 的 RXTX 库 ， 这 是 一 个 稳定 版 本 ，JDK 的 版 本 是 x86 平 台 的 1.8.0 版 本 。 开 发 所 使 
用 的 IDE 是 面向 java 开 发 者 运行 在 x86 (32 位 ) 平台 上 的 Eclipse Luna。 正 如 前 面 强调 过 的 ， 安 装 32 位 平台 的 JDK、Eclipse 和 
RXTX 库 不 会 影响 什么 ， 只 是 为 了 避免 不 一 致 性 。 请 按照 下 面 的 步骤 设置 环境 : 


-总 € 
K; 


一 你 可 以 从 http://txtx.qbang.ote/pub/txtx/txtx-2.1-7-bins-t2.zip 下 载 正 确 版 本 的 RXTX 库 。 
1. 打 开 面 向 Java 开 友 者 的 Eclipse。 在 菜单 里 ， 依 次 选择 File|New|lJava Project, 


2. 用 java _ serial 作为 项 目 名 字 ， 在 JRE 选 项 里 选择 Use Default JRE。 对 于 Project Layout 和 选项， 选择 Create separate 


folders for sources and class files， 如 下 图 所 示 : 


Create a Java Project 
Create a Java project in the workspace or in an external location. 


Project name: | java serial| 


Use default location 


Location: | C:\Users\ozenozkaya\workspace.serialtermtest\java_serial 


JRE 


© Use an execution environment JRE: JavaSE-1.8 M 


© Use a project specific JRE: jrel.8.0 45 Y 


图 Use default JRE (currently 'jre1.8.0 45") Configure JREs... 


Project layout 
© Use project folder as root for sources and class files 
图 Create separate folders for sources and class files Configure default... 


Working sets 
Add project to working sets 


3. 单 击 Next 按 钮 。 

4. 单 击 Next 按 钮 以 后 ， 会 打开 Java Settings 界 面 。 

5. 单 击 Libraries 选 项 卡 然后 按 下 Add External JARs 按 钮 。 
6. 浏 览 你 下 载 解压 RXTX 库 的 文件 夹 并 选中 RXTXcomm.jar。 


7. 单 击 Open 按 钮 。 刚 才 选 中 的 RXTXcomm.jar 应 该 被 添加 到 列表 中 了 ， 如 下 图 所 示 : 


Java Settings 
Define the Java build settings. 


b = JRE System Library [jre1.8.0 45] 


8. 单 击 Finish 按 钮 就 进入 到 Eclipse 的 项 目 开 发 界面 。 


9. 浏 览 rxtx 库 所 在 的 文件 夹 并 导航 到 Windows\i368-mingw32 文 件 夹 下 。 将 rxtxSerial.dll 复 制 到 C: \Windows\System32 
文件 夹 。 


10. 在 你 的 Eclipse 项 目 里 ， 右 键 单 击 RXTXComm.jar， 然 后 在 弹出 的 菜单 中 依次 选择 Properties|Native Library， 并 单 击 


External Folder, 
11. 在 这 个 窗口 中 ， 前 往 rxtx 目 录 并 导航 到 Windowsi368-mingw32。 
12. 单 击 OK 按 钮 ， 然 后 通过 单 击 Apply 按 钮 并 单 击 OK 按 钮 来 把 刚才 的 改变 应 用 到 项 目 上 。 现 在 你 已 经 可 以 开始 下 一 步 了 。 


13. 因 为 代码 有 一 点 长 ， 我 们 更 倾向 于 通过 GitHub 来 分 享 它们 。 你 可 以 
Mhttps://github.com/ozenozkaya/arduino cv serial java 下 载 这 些 文 件 。 里 面 有 两 个 文件 : serialComm.java 和 
SerialTerminal.java。 把 这 两 个 文件 拖 蝶 到 你 的 Eclipse 项 目的 src 文 件 夹 并 把 它们 复制 到 你 的 项 目 里 。 做 完 这 些 你 的 项 目 看 起 来 
应 该 如 下 图 所 示 : 


[8 Package Explorer 52 | 


4 | java serial 


4 EÈ src 
4 HB (default package) 


> 上 四 SerialComm.java 
> [J] SerialTerminal.java 
> BÀ JRE System Library [jre1.8.0 45] 


4 E Referenced Libraries 
> (og RXTXcomm,jar - C:\Users\ozenozkaya\Downloa 


14. 将 你 的 Arduino Uno R3 连 到 你 的 电脑 上 并 且 右 键 单 击 名 为 java_serial 的 Eclipse 项 目 。 然 后 在 弹出 的 菜单 中 依次 选择 Run 
As|Java Application|Serial Terminal 默 认 包 。 你 将 看 到 终端 运行 起 来 : 


| S| Serial Terminal : PACKT 


15. 在 选择 正确 的 COM 端 口 后 可 以 单 击 Open 按 钮 。 你 可 以 给 它 发 送 消 息 来 与 串口 终端 进行 交互 。 你 会 看 到 它 工作 的 方式 很 
(RArduino 1DE 的 串口 监视 器 。 这 个 过 程 如 下 图 所 示 : 


关于 代码 的 解释 可 以 在 README 文 件 中 找到 ， 这 个 README 文 件 可 以 从 GitHub 上 获取 。 所 以 让 我 们 导航 到 
SerialComm.java 文 件 中 的 重要 一 行 。 在 SerialEvent 国 数 中 ， 有 一 行 代码 被 注释 挤 了 ， 如 下 所 示 : 


//ProcessMessage (receivedMsg); 


如 果 注 释 了 这 一 行 并 且 实 现 你 自己 的 ProcessMessage (String msg) 函数 ， 那 么 当 收 到 一 条 消息 的 时 候 你 可 以 自 定 义 行 
为 。 举 个 例子 来 这， 当 Arduino 给 你 上 送 了 一 条 Hello Sir! 消息 ， 你 可 以 打开 一 个 OpenCV 应 用 。 这 个 简单 的 ProcessMessage 
国 数 实现 如 下 代码 所 示 : 


private void ProcessMessage(String msg) 


| 


if (msg.matches("(.*)Hello Sir!(.*)") -- true) 


{ 


String cmd = "C:\\opencv app.exe"; 
Process p; 

try { 
p = Runtime.getRuntime() .exec (cmd); 
p.waitFor(); 

|) catch (IOException e) { 
e.printStackTrace(); 

) catch (InterruptedException e) | 
e.printStackTrace(); 


| 


tam od 


这 个 国 数 在 从 串口 接收 到 Hello Sir! 消息 后 会 运行 C: \ 下 的 可 执行 应 用 程序 opencv_ app.exe, 


通常 情况 下 ， 最 好 是 用 通信 协议 而 不 是 正常 的 语句 来 交换 数据 。 这 将 减少 传输 信息 的 开销 。 在 我 们 的 应 用 中 ， 使 用 句子 
Light up your LED! 点 亮 Arduino 上 的 LED。 一 般 的 做 法 会 用 一 些 更 简单 的 指令 来 完成 这 些 任务 ， 比 如 L11! 来 点 亮 Arduino 上 的 
LED, LO! 来 炸 炎 Arduino 上 的 LED。 这 两 种 情况 都 是 基于 字符 串 进行 沟通 。 要 减少 传输 数据 的 开销 ， 可 以 使 用 二 进 制 协议 。 二 
进 制 协议 消息 的 内 容 用 人 眼 来 看 的 话 ， 很 难 理解 ， 但 是 用 于 传输 数据 却 更 有 效 ， 最 后 一 章 将 详细 介绍 相关 内 容 。 所 以 ， 试 着 理解 
Arduino 和 Java 所 提供 的 通信 和 能力， 并 尽 可 能 多 地 动手 实践 ! 


7.3 ”用 C++ 进行 通信 


也 可 以 用 C++ 将 Arduino 连 接 到 视 完 控制 器 。 在 这 种 情况 下 ， 必 须 使 用 一 个 平谷 库 来 与 操作 系统 的 串口 驱动 程序 进行 通信 。 
如 果 使 用 的 是 OpenCV 的 C++APl， 最 好 用 C++ 实 现 通 信和 软件 哪怕 通信 是 依赖 平台 的 。 这 样 一 个 染 构 将 简化 通信 方案 并 能 直 
接 将 通信 能 力 与 视 冤 能 力 相 结 合 。 我 们 将 在 最 后 一 章 简要 介绍 这 个 通信 方案 。 


g~ 
b. 


~ 要 深入 了 解 在 Windows 平 台 使 用 C 十 十 进行 通信 ， 可 以 参阅 Arduino 文 档 的 文章 ， 地 址 


为 : http://playground.arduino.cc/Interfacing/ CPPWindows. 
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/ We] 


在 本 章 中 ， 你 已 经 学 到 了 如 何 用 有 效 且 有 效率 的 方式 使 用 Arduino 进 行 通信 。 此 外 ， 你 还 学 到 了 如 何在 Arduino 和 视觉 控制 


器 应 用 程序 之 间 建 立 串 口 连接 。 还 了 解 了 独立 于 硬件 的 通信 技术 ， 既 有 有 续 的 也 有 无 线 的 。 数 据 传输 也 是 机 器 人 技术 的 重要 组 成 
部 分 ， 所 以 请 尽 可 能 多 地 练习 ， 并 为 下 一 章 做 好 准备 ! 


在 下 一 章 中 ， 你 将 通过 使 用 Arduino 来 接触 到 物理 世界 ! 


Som ”将 Arduino 用 于 真实 世界 


在 前 面 几 章 中 ， 你 学 到 了 如 何 建 立 一 个 计算 机 视 党 系统 的 子 模块 ， 还 学 习 了 如 何 使 用 Arduino 作 为 传感器 数据 采集 器 以 及 如 
何在 Arduino 和 视 嘻 控制 器 之 间 建 立 通 信 。 有 了 这 些 知识 ， 玖 能 设计 一 个 可 以 在 复杂 场景 中 得 出 高 层次 结论 的 计算 机 视 哆 系统 。 
到 目前 为 止 ， 还 缺少 的 环 古 是 根据 视 党 系统 的 结论 进行 正确 的 行动 。 这 丈 是 本 章 将 会 展现 的 内 容 ! 我 们 也 将 在 下 一 章 中 使 用 本 章 
学 到 的 知识 。 


在 本 草 中 ， 你 将 了 解 最 常见 的 与 物理 世界 进行 互动 的 骨 入 式 系统 。 控 制 电 动机 和 驱动 显示 器 是 两 种 最 常用 的 将 视 完 系统 的 输 
出 显示 在 真 实 世界 的 实现 方式 。 本 章 将 介绍 如 何 连 接 电机 和 显示 器 。 人 在 这 个 过 程 中 ， 你 将 了 解 如 何 控制 机 器 人 的 电动 机 ， 以 及 如 
何在 LCD 或 者 TFT 显示 器 上 显示 各 种 信息 。 


8.1 与 电动 机 的 连接 


电动 机 是 机 电 系 统 的 动力 提供 者 。 它 们 只 是 简单 地 将 电能 转换 成 物体 的 动能 。 在 设计 中 我 们 将 与 电动 机 打交道 。 


电动 机 被 广泛 用 于 日 党 生活 中 。 吹 风机 、 洗 衣 机 、 电 风 亢 、 打 印 机 、 机 器 人 是 一 些 比较 出 名 的 使 用 电动 机 的 例子 。 电 动机 的 
使 用 为 我 们 的 目 动 系统 提供 了 触 础 物理 世界 的 动力 。 此 外 ， 所 有 这 些 基于 动力 的 产品 的 成 功 依赖 于 对 动力 的 控制 。 本 的 目的 是 
让 你 能 够 有 效 地 使 用 各 种 电动 机 。 


电动 机 的 使 用 看 上 去 非 单 向 单 。 将 电动 机 的 一 端 与 有 足够 电力 的 电池 相连 ， 轴 融会 旋转 起 来 。 但 是 如 果 我 们 想 要 电动 机 以 相 
反 的 方向 旋转 怎么 办 ? 可 以 以 相反 的 顺序 连接 导线 。 让 我 们 考虑 另外 一 个 问题 : 如 果 我 们 想 要 电动 机 以 1/4 的 速度 来 旋转 该 怎么 
办 ?正确 使 用 电动 机 需要 一 定 的 知识 。 我 们 将 在 本 章 中 介绍 三 种 主要 的 电动 机 。 为 了 让 我 们 的 开 友 变 得 更 容易 同时 也 能 专注 于 机 
器 人 应 用 ， 我 们 将 介绍 一 个 电动 机 驱动 拓展 板 。 它 可 以 用 来 驱动 各 种 不 同 的 电动 机 。 


$> 可 以 在 Atduino 网 站 上 找到 一 个 很 棒 的 电动 机 驱动 拓展 板 ， 地 址 


为 : http://www.atduino.cc/en/Main/ ArduinoMototShieldR3., 


8.2 ”使 用 显示 器 


一 些 计算 机 视觉 应 用 程序 是 以 信息 传输 作为 结束 。 把 信息 从 嵌入 式 系统 传递 给 人 类 的 最 佳 方式 之 一 是 使 用 显示 器 。 除 了 显示 
视觉 控制 器 的 结论 以 外 ， 还 可 以 通过 显示 器 来 给 出 环境 或 者 系统 的 额外 信息 。 还 有 一 种 替代 方案 是 将 信息 发 送 给 手机 或 者 计算 机 


而 不 是 将 信息 显示 在 专用 的 显示 器 上 。 另 一 方面 ， 使 用 本 地 的 显示 器 可 以 让 一 切 变 得 简单 并 在 某 些 时 候 营 造 一 种 更 好 的 用 户 体 
验 。 下 面 是 使 用 显示 器 的 例子 。 


有 许多 类 型 的 显示 器 ， 但 主要 是 液晶 显示 器 (Liquid Crystal Displays, LCD) 和 薄膜 晶体 管 (thin-film transistor, TFT) 

显示 器 。 液 晶 显示 器 是 用 于 音色 显示 操作 的 简单 廉价 设备 。 海 膜 晶体 党 显示 器 企 显示 有 多 种 颜色 形状 和 文字 的 丰富 内 容 时 更 强 

大 。 沙 膜 晶体 管 显示 器 也 可 以 与 触摸 界面 集成 ， 这 使 得 用 户 能 够 直接 与 显示 器 和 系统 进行 交互 。 在 本 节 中 ， 我 们 将 介绍 如 何 正确 
ZR 
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8.3 Raa 


现在 ， 让 我 们 总 结 一 下 在 本 章 中 学 到 的 内 容 。 在 本 章 中 我 们 已 经 通过 Arduino 建 立 了 与 物理 世界 的 交互 。 现 在 你 可 以 把 视觉 
控制 器 的 结论 转换 成 真实 的 物理 行动 了 ! 当然 ,全 面 地 执行 正确 的 行动 是 至 天 重要 的 。 本 章 传授 的 最 佳 实践 将 使 你 能 够 为 自己 的 
应 用 程序 需求 开 友 最 佳 的 设计 。 


现在 是 时 候 把 你 在 本 书 中 学 到 的 一 切 结合 起 来 ， 并 拿 一 个 现实 生活 的 例子 来 进行 实践 了 。 在 下 一 章 中 ， 你 将 学 习 如 何 结合 到 
目前 为 止 学 到 的 一 切 以 及 如 何 轻 松 地 构建 一 个 复杂 的 系统 。 为 学 习 下 一 章 做 好 准备 吧 ! 


第 9 章 ”建造 一 个 点 击 行走 机 器 人 


到 目前 为 止 ， 你 已 经 了 解 了 如 何 实现 计算 机 视 况 应 用 程序 、 如 何 将 应 用 程序 的 开 友 过 程 分 解 为 一 些 基 本 的 步 又、 如 何 实现 这 
些 设计 的 步骤 以 及 如 何 将 视觉 系统 和 Arduino 结 合 起 来 。 现 在 是 时 候 将 学 到 的 这 些 内 容 结合 在 一 起 了 |! 


在 本 章 中 ， 你 将 学 习 如 何 建 霹 一 个 视 竞 辅助 机 器 人 ， 它 可 以 前 往 相 机 视野 学 围 内 任意 一 个 你 希望 已 去 的 点 。 在 这 个 方案 里 ， 
会 有 个 相机 附着 在 天 花 板 上 ， 一 旦 你 从 机 器 人 那 获 得 视频 流 并 点 击 视 野 里 任意 一 个 地 方 ， 那 么 机 器 人 就 会 去 那里 。 这 个 应 用 程序 
会 把 前 面 几 章 学 到 的 知识 融 为 一 体 ， 并 给 你 开 上 友 一 体 化 应 用 程序 的 机 会 。 你 会 看 到 可 以 使 用 本 书 中 提 到 的 方法 来 实现 任意 的 
Arduino 视 党 项 目 ! 


在 开始 之 前 ， 让 我 们 尝试 绘制 下 应 用 程序 的 方案 并 确定 可 能 的 步骤 。 我 们 要 建造 的 是 一 个 基于 视觉 的 机 器 人 ， 它 可 以 由 天 花 
板 上 的 相机 进行 控制 ， 当 我 们 点 击 相机 视野 中 的 任意 一 点 时 ， 我 们 希望 机 器 人 能 够 前 往 那 个 特定 的 点 。 


这 个 操作 要 求 移动 机 器 人 能 够 与 视 党 系统 进行 通信 。 视 党 系统 应 该 能 够 检测 或 者 识别 出 机 器 人 并 计算 机 器 人 的 位 置 和 方向 。 
这 个 视 况 系统 也 应 该 让 我 们 可 以 点 击 视野 中 的 任意 一 点 ， 并 且 能 够 计算 机 器 人 到 这 有 氮 的 路 径 以 及 机 器 人 该 如 何 移动 才能 到 达 这 一 
点 。 这 个 方案 要 求 机 器 人 和 视 帝 控制 器 乙 间 可 以 通信 。 在 下 图 中 ， 左 边 是 应 用 程序 计划 的 物理 方案 ， 右 边 是 用 户 的 应 用 程序 界 


在 解释 完 应 用 程序 的 方案 以 后 ， 下 一 步 是 将 应 用 程序 用 计算 机 视 帝 的 方法 划分 为 小 的 步骤 ， 这 一 点 在 第 1 章 提 过 ， 并 在 随后 


在 数据 采集 阶段 ， 我 们 将 只 使 用 场景 的 视频 沉 。 机 器 人 身上 不 会 有 一 个 外 部 传感器 ， 因 为 这 个 应 用 不 需要 。 相 机 的 选择 是 非 
单 重要 的 ， 并 且 相机 的 距离 (到 机 器 人 所 在 平面 的 高 度 ) 应 该 足够 看 到 整个 区 域 。 我 们 将 使 用 机 器 人 上 面 的 监 色 和 红色 圆圈 检测 
机 器 人 的 位 置 并 计算 它 的 方向 。 我 们 并 不 需要 细节 。 相 机 距离 是 120cm 的 话 ， 分 辨 率 640x480 像 素 就 足够 了 。 我 们 需要 RGB 相 
机 的 数据 流 是 因为 我 们 将 使 用 圆圈 的 颜色 属性 。 我 们 将 使 用 罗技 C110， 这 是 一 和 经 济 实惠 的 网 络 摄像 头 。 任 何其 他 与 OpenCV 
兼容 的 网 络 摄像 头 都 可 以 ， 因 为 这 个 应 用 对 视 完 输入 的 要 求 并 不 是 很 高 。 如 果 需 要 更 长 的 电 统 线 ， 你 可 以 使 用 USB 延 长 线 。 


在 预 处 理 阶段 ， 首 先 要 去 除 表面 的 小 细 证 。 对 这 个 目的 而 言 ， 模 糊 是 一 种 简单 而 有 效 的 操作 。 如 果 需 要 的 话 ， 你 可 以 调整 输 
入 图 像 以 减少 图 像 大 小 和 处 理 时 | 间 。 但 不 要 志 了 如 果 你 把 图 像 分 辨 率 调 整 得 太 小 ， 那 么 束 没 有 办 法 从 图 像 中 提取 有 用 的 信息 。 下 
图 是 罗技 C110 摄 像 头 。 


下 一 步 是 处 理 图 像 。 在 这 个 阶段 有 两 个 主要 步骤 。 第 一 步 是 检测 图 像 中 的 圆圈 。 第 二 步 是 计算 机 器 人 的 方向 和 到 目的 地 的 路 
径 。 机 器 人 可 以 沿 着 这 个 路 径 到 达 它 的 目的 地 。 在 第 5 草 中 ， 我 们 讨论 了 颜色 处 理 ， 我 们 可 以 使 用 之 前 讨论 的 颜色 滤波 器 来 处 理 
图 像 得 到 红色 圆圈 和 蓝 色 圆圈 的 图 像 掩 码 ， 如 下 图 所 示 。 然 后 我 们 可 以 使 用 轮廓 检测 或 者 blob 分 析 来 检测 圆圈 并 提取 有 用 的 特 
征 。 保 持 简 时 和 逻辑 性 是 全 天 重要 的 。 


blob 分 析 会 检测 机 器 人 上 的 两 个 圆圈 的 边界 ， 如 果 我 们 在 两 个 圆圈 的 中 心 点 连 一 条 线 ， 一 旦 我 们 计算 出 了 这 条 线 的 角度 ， 
那么 我 们 束 得 天 了 机 器 人 本 身 的 方向 。 这 条 线 的 中 扣 将 是 机 器 人 的 中 心 。 如 果 我 们 从 机 器 人 的 中 心 到 目的 地 男 一 条 线 ， 那 么 我 们 
束 得 到 了 最 直接 的 到 达 路 径 。 机 器 人 的 圆圈 也 可 以 用 针对 圆圈 的 Hough 变 换 来 进行 检测 ， 但 是 这 个 算法 相对 较 慢 并 且 很 难 从 结 
果 中 提取 统计 信息 ， 还 是 基于 blob 分 析 的 方法 更 好 一 点。 


在 第 5 草 还 介绍 了 一 些 其 他 的 万 案 ， 比 如 使 用 加 速生 棒 特征 、 尺 度 不 变 特征 变换 或 者 ORB 特 征 。 但 是 这 些 方法 都 不 能 提供 快 
速 实时 的 行为 ， 所 以 blob 分 析 应 该 更 合适 一 些 。 


在 检测 到 blob 以 后 ， 我 们 可 以 使 用 后 过 滤 来 移 除 多 余 的 blob。 可 以 使 用 圆 的 直径 、 边 界 的 面积 和 颜色 信息 来 过 滤 多 余 的 
blob, 


通过 使 用 blob 的 属性 (提取 出 来 的 特征 ) ， 融 可 以 检测 或 者 识别 圆圈 了 ， 然 后 是 识别 机 器 人 。 能 够 检测 出 机 器 人 已 经 达到 
目的 地 以 及 机 器 人 中 心 到 目标 点 的 距离 对 于 我 们 的 应 用 都 是 非常 有 用 的 。 在 这 个 场景 中 ， 机 器 人 将 由 我 们 的 视 党 控制 器 来 检测 。 
检测 机 器 人 的 中 心 对 于 追 踊 机 器 人 来 说 是 足够 的 。 


一 旦 我 们 计算 好 机 器 人 的 位 置 和 方向 ， 我 们 就 可 以 把 这 些 信息 与 机 器 人 到 目标 点 的 距离 和 方向 信息 相 结 合 ， 然 后 我 们 就 可 以 
给 机 器 人 下 友 指 令 让 它 进行 移动 ! 有 效 的 路 径 规 划算 法 可 以 在 这 个 阶段 应 用 ， 但 因为 这 一 部 分 的 内 容 不 是 本 书 的 重点 ， 我 们 将 实 
们 选择 的 场景 将 是 一 个 无 障碍 的 场景 。 如 果 你 想 拓 展 这 个 应 用 程序 ， 使 其 支持 市 障碍 物 的 复杂 环境 ， 那 么 你 应 该 实现 障碍 检测 机 
制 和 有 效 的 路 径 规划 算法 。 


我 们 可 以 通过 无 线 对 机 器 人 发 送 指令 ， 诸 如 Left! 、Right! , Go! 或 者 Stop! 。 针 对 这 个 问题 射线 通信 是 一 种 有 效 的 解决 
万 案 。 在 这 个 场景 中 ， 我 们 需要 两 个 NRF24L01 模 块 。 第 一 个 模块 连接 到 机 器 人 控制 器 ， 第 二 个 模块 连接 到 视 腕 控制 器 。 


Arduino 是 控制 机 器 人 以 及 与 视 党 控制 器 通信 的 完美 方案 。 视 党 控制 器 可 以 建 在 任何 硬件 平台 上 如 计算 机 、 平 板 电脑 或 智能 
手机 。 因 为 OpenCV 是 独立 于 平台 的 所 以 视 党 控制 器 应 用 程序 可 以 在 许多 操作 系统 中 实现 。 我 们 更 倾向 于 使 用 Windows 系 统 和 
一 台 笔 记 本 电脑 来 运行 我 们 的 视 完 控制 器 应 用 程序 。 


正如 你 看 到 的 ， 我 们 用 之 前 几 章 推荐 的 办 法 将 应 用 程序 分 成 小 的 易于 实现 的 部 分 。 现 在 是 时 候 将 它们 全 部 构建 出 来 了 ! 


9.2 ” 建 千 一 个 机 器 人 


现在 是 时 候 来 解释 如 何 建造 点 击 行走 机 器 人 了 。 在 进一步 讨论 之 前 我 们 可 以 大 胆 地 说 机 器 人 项 目 将 教授 我 们 有 天 科学 基本 领 
域 的 知识 ， 比 如 力学 、 电 子 和 编程 。 我 们 将 在 本 章 后 面 的 部 分 涉及 这 些 主 题 。 


在 塌 历 点 击 行走 机 器 人 的 建造 过 程 中 ， 你 将 会 看 到 我 们 一 直 让 整个 过 程 尽 可 能 简单 。 此 外 ， 相 比 于 购买 现成 的 机 器 人 套件 ， 
我 们 是 目 己 来 建造 简单 且 健 壮 的 机 器 人 。 当 然 如 果 你 计划 购买 机 器 人 套件 或 者 已 经 有 了 可 用 的 机 器 人 套件 ， 也 可 以 把 这 些 机 器 人 
套件 用 于 这 个 项 目 。 


惑 力学 方面 而 言 ， 我 们 的 机 器 人 设计 相对 简单 。 我 们 将 使 用 一 个 盒 状 的 容器 平台 、 两 个 有 一 对 轮子 的 齿轮 电动 机 、 一 个 驱动 
电动 机 的 电池 、 一 个 nRF24L01 射 频 (Radio Frequency, RF) 收 友 模块 、 一 组 跳 线 、 一 个 L293D 集 成 电路 ， 当 然 还 有 一 个 
Arduino Uno 面 包 板 。 对 于 视觉 控制 器 通信 电路 我 们 将 使 用 nRF24L01 和 另外 一 个 Arduino Uno 拓 展板 。 


我 们 的 点 击 行走 机 器 人 将 由 一 个 大 动 驱动 的 简化 版 本 操控 。 甘 动 驱动 可 以 简单 概括 为 在 两 个 轮子 上 存在 一 个 相对 速度 差异 ， 
这 将 导致 机 器 人 的 方向 友 生 变化 。 换 句 话说 ， 如 果 两 个 轮子 旋转 速度 一 样 ， 那 么 机 器 人 将 前 进 。 要 让 机 器 人 后 退 的 话 ， 那 么 车 轮 
就 需要 同 相 反 的 方向 旋转 。 要 让 机 器 人 左 转 的 话 ， 左 边 轮子 要 同 后 旋转 同时 右边 轮子 保持 静止 或 者 向 前 旋转 。 同 样 的 道理 ， 如 果 
要 让 机 器 人 右 转 的 话 ， 石 边 轮 子 要 向 后 旋转 同时 左边 轮子 保持 静止 或 者 向 前 旋转 。 


可 以 通过 改变 轮子 的 旋转 速度 来 让 机 器 人 走 一 条 达到 曲 曲 的 路 。 但 是 作为 一 个 履 善 各 个 方面 的 综合 项 目 ， 在 本 例 中 我 们 只 会 
让 轮子 向 前 旋转 。 如 果 要 让 机 器 人 左 转 ， 那 么 左边 的 轮子 保持 静止 而 右边 的 轮子 向 前 旋转 。 同 样 的 道理 ， 如 果 要 让 机 器 人 右 转 ， 
那么 右边 的 轮子 保持 静止 而 左边 的 轮子 向 前 旋转 。 我 们 不 会 让 电动 机 向 相反 的 方向 旋转 来 使 机 器 人 后 退 。 相 反 我 们 将 通过 左 转 或 
者 右 转 来 改变 机 器 人 的 万 同 。 


9.3 ”构建 视 名 应 用 程 厚 


我 们 已 经 在 上 一 节 建造 好 了 机 器 人 ， 现 在 是 时 候 来 构建 视觉 应 用 程序 了 。 在 开始 之 前 ， 让 我 们 把 视觉 控制 器 的 物理 方案 绘制 
出 来 ， 如 下 图 所 示 : 


正如 上 图 中 可 以 看 到 的 那样 ， 我 们 使 用 了 第 二 块 Arduino Uno R3 来 与 机 器 人 上 的 Arduino 进 行 通信 。 如 果 不 用 第 二 块 
Arduino Uno R3， 可 以 试 下 FTDI 转 换 器 ， 它 与 射频 收 友 器 的 调制 解 调 器 相连 。 但 是 我 们 首选 Arduino 因 为 它 是 本 书 的 主题 。 还 
有 一 个 网 络 摄像 头 通过 USB 接 口 连 到 笔记 本 电脑 上 。 视 完 控 制 器 应 用 程序 将 包括 一 个 串口 通信 模块 通过 射频 收 友 器 来 与 机 器 人 进 
行 通 信 。 如 果 要 蔡 换 射频 通信 ， 可 以 使 用 标准 蓝牙 、 低 功 耗 蓝牙 或 者 ZigBee (比如 说 Xbee) 。 如 果 想 在 机 器 人 和 笔记 本 电脑 之 
间 直 接 建 立 连 接 而 不 走 外 部 电路 ， 低 功 耗 监 牙 将 是 一 个 不 错 的 选择 。 所 有 的 通信 选项 都 已 经 在 第 7 章 讨论 过 了 。 


这 个 视觉 控制 器 应 用 程序 是 用 Windows 7 上 的 Visual Studio 2012 开 发 的 。 我 们 不 再 重复 如 何 用 Visual Studio 创 建 
OpenCV 项 目 了 ， 因 为 在 前 几 章 讲 过 这 个 问题 。 


对 于 串口 通信 ， 可 以 有 很 多 选择 。 我 们 使 用 的 是 Windows 平 台 上 Arduino 串 口 通信 的 例子 ， 因 为 它 非常 易于 实现 和 集成 。 


~ 你 可 以 在 Arduino 主 页 上 找到 Windows 串 口 方面 的 更 多 信息 ， 地 址 


为 : http://playground.arduino.cc/Interfacing/ CPPWindows. 


如 前 所 述 ， 这 个 应 用 程序 会 倾向 选用 blob 分 析 为 基础 的 处 理 撤 术 。 为 了 使 用 blob 分 析 ， 我 们 使 用 了 开源 库 cvBlobsLib。 


SS cvBlobsLib AE 49 3x 3p WR fe X44 VT VA Mhttp: //sourceforge.net/projects/cvblobslib/ F 3X,« 
构建 视 况 控制 器 和 通信 程序 
在 开始 看 代码 之 前 ， 你 应 该 从 https://github.com/ozenozkaya/dlick to go robot cv 下 载 源 代码 。 


一 旦 得 到 全 部 的 源 代码 以 后 ， 你 应 该 把 所 有 文件 都 添加 到 Visual Studio 的 OpenCV 项 目 中 去 。 添 加 完 源 代码 后 ， 你 的 项 目 
看 起 来 应 该 如 下 图 所 示 : 
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现在 可 以 编译 这 个 项 目 了 。 但 是 在 运行 前 ， 你 应 该 把 Arduino 通 过 低 功 耗 蓝牙 连 到 计算 机 或 者 笔记 本 电脑 的 USB 端 口 。 
Windows 系 统 将 会 加 载 Arduino 的 USB 驱 动 程序 并 把 Arduino 视 为 一 个 COM 端 口 设备 。 在 运行 代码 之 前 ， 你 应 该 检查 Arduino 
的 COM 新 口 并 更 改 main.cpp 文 件 中 关于 Arduino 辛 口 信息 的 那 一 行 : 


Serial* SP = new Serial("NNNN.NNCOMI8") ; 


f£ FArduinozexesllm T COMumsL1.E, HEMRA TAMALA. SERArduinozeESUTEEHJ las Sic AA LAY 
COMA2imLl, (RMA NES ER SC EBB TCHS : 


Serial* SP = new Serial("NNNN.NNCOMA2") ; 


这 将 导致 用 正确 的 COM 端 口 创建 一 个 串口 对 象 。 在 解释 代码 之 前 ， 你 可 以 运行 来 看 下 效果 ， 如 果 你 点 击 了 窗口 中 任何 不 是 
机 器 人 的 点 ， 会 看 到 如 下 图 所 示 的 情况 : 


你 可 以 看 到 我 们 的 视 部 控制 器 检测 到 了 机 器 人 并 在 圆圈 的 地 方 夯 了 一 个 绿色 的 边框 。redFilter 和 blueFilter 折 代表 的 间隔 值 
可 以 在 设置 中 进行 更 疏 ， 如 果 需 要 的 话 请 按 你 的 需求 进行 改变 。 红 色 的 线段 连接 着 红色 圆圈 和 蓝 色 圆圈 的 中 心 上 品 。 从 上 图 中 可 以 
看 到 红色 绪 段 的 方向 惑 表 明了 机 器 人 的 方向 。 不 要 生 了 红色 圆圈 是 机 器 人 的 头 部 。 一 旦 你 点 击 场景 中 的 任何 一 点 ， 你 融会 看 到 监 
色 的 线段 ， 这 是 从 机 器 人 中 心 点 到 目标 点 的 路 径 。 随 后 ， 机 器 人 会 转向 目标 点 然后 直行 到 达 目 标点 。 一 旦 它 到 达 目 标 上 后， 它 就 会 
停 下 来 。 这 个 过 程 可 以 在 下 面 的 帧 图 像 中 看 到 ， 如 下 所 示 : 


—EJ38fgE rVSSAB9fRT73, Fa AREAS. Bia CECI CR ER ZS I FH FEBR CRB SCIEN 
长 了 。 你 应 该 去 GitHub (https://github.com/ozenozkaya/click to go robot cv) 上 下 载 这 个 程序 的 代码 ， 然 后 找到 
main.cppX ft, 


现在 ， 让 我 们 解释 一 下 这 段 代 码 ! 我 们 只 解释 main.cpp 文 件 因为 其 他 文件 在 项 目的 主页 上 都 有 文档 ， 可 以 在 前 一 节 中 找到 
链接 。 我 们 还 将 跳 过 头 文件 的 部 分 ， 因 为 已 经 在 前 几 章 讨论 过 了 。 


在 代码 的 开始 部 分 ， 可 以 看 到 各 种 #define 语 句 : 


#define PI 3.14159265 
#define MAX BLUR KERNEL LENGTH (9) 


第 一 个 预定 义 的 是 P1， 它 用 于 角度 计算 。 接 着 是 预定 义 用 来 做 模糊 处 理 的 最 大 滤波 器 模板 的 长 度 ， 它 被 定义 为 9， 这 个 大 小 
足够 用 了 ， 下 面 是 代码 卢 段 : 


void robot mouse callback( int event, int x, int y, int flags, 
void* param ); 
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标点 。 随 后 我 们 将 解释 这 个 函数 。 
你 会 看 到 redFilter 和 blueFilter 国 数 ， 这 是 OpenCV 的 inRange 函 数 中 的 内 置 部 分 ， 如 下 所 示 : 


inRange(src, Scalar(0, 0, 50), Scalar(35, 30, 160), red only); 


AAR Zz BABS C5 ER ESI E FIBI EP TRE BEES yEuSR, PAR SEredFilterfüblueFiltere&ZX. 


现在 ， 让 我 们 看 一 人 main 函数 。 你 可 以 在 这 里 看 到 串口 的 切 始 化 。 


Serial* SP = new Serial("NNNN.NNCOM18") ; // adjust as needed 
if (SP-»IsConnected()) 


printf("We're connected to serial controller\r\n") ; 
else 


| 


printf ("Serial connect error\r\n") ; 
return -1; 


| 


SP-»WriteData("Stop!",strlen("Stop!")); 
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后 我 们 检查 串口 到 Arduino 的 连接 是 否 已 经 建立 。 如 果 有 连接 错误 ， 程 序 会 返回 错误 码 -1: 


VideoCapture cap (0) ; 
if(!cap.isOpened()) 
return -1; 


在 前 一 节 的 代码 中 ， 我 们 开局 了 一 个 视频 捕获 并 判断 是 否 成 功 。 如 果 有 多 个 相机 附加 在 计算 机 上 ， 可 以 按照 你 的 需求 来 修改 
相机 的 索引 : 


int erosion size = 1; 


Mat element - getStructuringElement( MORPH ELLIPSE, 


上 述 代码 创建 了 腐蚀 /膨胀 滤波 器 的 模板 ， 你 应 该 对 这 些 函 数 比较 丈 悉 了 ， 因 为 在 第 4 章 融 讨论 过 这 些 国 数 了 。 正 如 你 看 到 
的 ,我 们 正在 融合 之 前 几 章 学 到 的 内 容 。 下 一 步 是 从 视频 流 中 读 取 一 个 初始 帧 : 


Mat frame; 
cap >> frame; 
if(frame.data == NULL) 


| 


printf("Frame is NULL! \r\n") ; 
return -1; 


现在 束 完 成 了 初始 化 。 你 将 在 下 一 行 代 码 中 看 到 主 循 环 。 我 们 将 会 如 之 前 代码 做 的 那样 读 取 新 的 一 帧 。 然 后 会 注册 一 个 鼠标 
回调 来 处 理 鼠 标点 击 操作 ， 如 下 所 示 : 


cvSetMouseCallback("frame", robot mouse callback, (void*) &frame) ; 


cvSetMouseCallbackggZires[3$4573framefS i L1:ERB—" 1 robot mouse callbacke&ay, fram- OSEBARA 
NE o E73 R48 [RTT BREL, 


然后 我 们 对 输入 帧 使 用 了 高 斯 模糊 ， 如 下 所 示 : 


for (int i = 1; 1 < MAX BLUR KERNEL LENGTH; i = i + 2 ) 


| 


GaussianBlur( frame, frame, Size( i, i), 0, 0 ); 


FERS, Addita UL FHZT ERU CS BERE S8 6S ST Bs CARI Aik 8 : 


Mat blueImg - blueFilter(frame); 
erode (bluelmg,blueImg,element); 
dilate( bluelmg, blueImg, element ); 


Mat redImg = redFilter(frame); 
erode (redImg,redImg,element); 
dilate( redlImg, redImg, element ); 


然后 在 下 面 的 代码 中 开始 进行 blob 分 析 : 


CBlobResult blobs; 

IplImage* img = new IplImage(redImg) ; 

blobs = CBlobResult( img, NULL, 0 ); 

blobs.Filter( blobs, B INCLUDE, CBlobGetArea(), B GREATER, 200 ); 


这 段 代码 创建 了 一 个 名 为 blobs 的 CBlobResult 对 象 。lpllmage 是 一 种 原生 的 图 像 表 示 类 型 ,最初 来 自 Intel 的 图 像 处 理 库 。 


因为 cvBlobsLib 使 用 的 是 lpllImage 而 不 是 Mat 作 为 输入 ， 所 以 我 们 创建 了 一 个 新 的 Ipllmage 类 型 指针 img， 它 将 由 红色 图 像 让 
雷 来 构建 。 然 后 我 们 对 图 像 应 用 腐蚀 和 膨胀 来 移 除 小 的 细节 。blob 分 析 就 完成 了 。 下 一 行 代码 将 根据 它们 的 区 域 来 过 滤 blob。 
任何 面积 (像素 宽 x 像 素 高 小 于 200 的 blob 将 会 被 过 渡 掉 。 


如 果 处 理 图 像 后 得 到 多 个 blob， 你 可 以 比较 blob 的 属性 。 另 一 方面 ， 在 我 们 的 应 用 中 场景 的 红色 部 分 只 有 红色 圆圈 。 监 色 


圆圈 也 是 如 此 。 出 于 这 个 原因 ， 我 们 处 理 场景 后 只 得 到 一 个 blob， 序 号 为 0。 下 面 是 剩余 部 分 的 代码 : 


INNO 


CBlob currentBlob = blobs.GetBlob(0); 

redBlobBoundingBox - currentBlob.GetBoundingBox(); 

rx = currentBlob.MinX() + (redBlobBoundingBox.width/2); 
ry = currentBlob.MinY() + (redBlobBoundingBox.height/2); 


正如 你 在 前 面 的 代码 部 分 看 到 的 那样 ， 我 们 得 到 了 blob 引 用 和 blob 的 包围 盒 。 变 量 集合 (rx, ry) 将 给 出 红色 圆圈 的 中 心 
同样 的 操作 也 会 对 蔓 色 圆圈 执行 一 志 。 得 到 的 蓝 色 blob 的 中 心 点 是 px 和 by: 


line(frame,Point(rx,ry),Point(bx,by),Scalar(0,0,255)); 
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计算 机 器 人 的 方向 ， 用 角度 表示 : 


BI) 


robot angle = -atan2(ry - by , rx - bx ) * 180 / PI; 


之 后 我 们 结合 了 红色 圆圈 和 蓝 色 圆圈 的 图 像 庶 党 得 到 了 机 器 人 的 图 像 。 我 们 假设 这 两 个 圆圈 的 包围 使 可 以 表示 机 器 人 的 包围 


。 这 个 假设 在 实际 中 工作 得 非 党 好。 这 里 是 剩余 的 代码 三 段 : 


Mat robot; 

add (redImg,blueImg, robot); 

img - new IplImage (robot); 

blobs = CBlobResult( img, NULL, 0 ); 

blobs.Filter( blobs, B INCLUDE, CBlobGetArea(), B GREATER, 200 ); 
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器 来 移 除 小 的 blob (如 果 有 的 话 ) 。 下 面 是 剩余 的 代码 片段 : 


robot center x = (robot min x + robot max x)/2; 

robot center y = (robot min y + robot max y)/2; 
rectangle(frame,Point(robot min x,robot min y),Point(robot max x,r 
obot max y),Scalar(0,255,0)); E " 7 7 7 
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可 以 解决 这 个 问题 。 我 们 不 会 再 深入 讨论 路 径 规划 方面 的 问题 ， 因 为 这 不 是 本 书 的 重点 。 人 在 解释 这 部 分 代码 之前， 让 我 们 跳 到 设 
置 目 标点 的 地 方 : 


void robot mouse callback( int event, int x, int y, int flags, 
void* param ) { 
Mat* image - (Mat*) param; 


switch( event ) { 

case CV EVENT MOUSEMOVE: 
break; 

case CV EVENT LBUTTONDOWN: 
printf ("Clicked to x-$d, y=%d\r\n",x,y); 
printf ("Robot angle = $f degree\r\n", robot angle); 
is destination available = true; 
destination x = x; 
destination y = y; 


destination angle - -atan2(destination y - robot center y 
, destination x - robot center x ) * 180 / PI; 

printf ("Destination angle = $f degree\r\n", 
destination angle); 

break; 


case CV EVENT LBUTTONUP: 


break; 
default: 
break; 


一 旦 点 击 鼠 标 时 ， 标 记 is_ destination available 会 被 设置 ， 目 标点 会 被 保 仔 。 在 下 一 行 代 码 中 ， 会 使 用 机 器 人 的 中 心 到 目标 


INAN 


AERA ERTS Bin. 


PEL Telzmainekex, BA T — T SILASIARSE ES, Uii SISSE SA R turn left 或 者 turn right 的 指 
令 来 去 试 让 机 器 人 的 角度 与 目标 角度 一 致 。Right! 用 于 将 机 器 人 向 右 转 ， 而 Left! 用 于 将 机 器 人 向 左 转 。 一 旦 方 同一 致 (允许 
最 大 10 度 的 偏差 ) ， 视 完 控 制 器 将 给 机 器 人 友 送 Go! 指令 而 机 器 人 将 直 走 到 达 目 标点 : 


if(is destination available) 


| 


line (frame, 


Point (robot center x,robot center y),Point (destination x, 
destination y),Scalar(255,0,0)); 


bool is rotation required-true; 
if(destination angle»robot angle) 


f 


float diff - destination angle - robot angle; 
if(diff » 10.0) 
| 
SP-»WriteData("Left!",strlen("Left!")); 
is rotation required - true; 
| 


else 


{ 


is rotation required = false; 


float diff - robot angle - destination angle; 
if(diff » 10.0) 


{ 


SP-»WriteData("Right!",strlen("Right!")); 


is rotation required - true; 
| 
else 
| 
is rotation required - false; 
| 
| 
if(is rotation required == false) 
| 
int x diff = (robot center x - destination x); 
int y diff - (robot center y - destination y); 


int distance = sqrt( (x diff*x diff) + (y diff*y diff) ); 


if(distance » 50) 


| 
| 


else 


| 


SP->WriteData("Go!",strlen("Go!")) ; 


SP->WriteData("Stop!",strlen("Stop!") ) ; 
is destination available = false; 


正如 从 上 述 代码 段 看 到 的 那样 ， 机 器 人 试图 到 达 目 标点 ， 多 许 的 俩 关 在 ?0 像素 之 内 。 如 果 机 器 人 目前 离 目标 点 的 距离 小 于 


50 像 素 ， 机 器 人 融会 假设 已 经 到 了 目标 点 。 这 个 国 值 是 可 以 按照 你 的 意愿 进行 更 改 的 。 正 如 你 看 到 的 那样 ， 相 机 的 分 状 率 和 相 
机 到 机 器 人 的 距离 会 显著 影响 图 像 处 理 。 在 这 个 例子 中 ， 我 们 仪 仅 可 以 用 像素 测量 到 目标 点 的 距离 。 这 些 测量 可 以 转变 为 英寸 或 
者 厘米 的 单位 ， 但 是 这 个 转换 依赖 于 相机 的 分 辨 率 、 相 机 的 视野 以 及 相机 到 物体 的 距离 。 请 在 设置 中 更 改 这些 参 数 看 下 效果 。 


每 次 循环 都 会 显示 一 次 图 片 ， 延 迟 60ms: 


imshow("frame",frame); 

if(waitKey(60) >= 0) break; 

If program stops, vision controller sends a "Stop!" command to 
stop the movements of the robot. 
SP-»WriteData("Stop!",strlen("Stop!")); 


return 0; 


94 总 结 


JONE 


我 们 已 经 结合 了 到 目前 为 止 学 到 的 所 有 知识 并 构建 了 一 个 集 全 功能 于 一 身 的 应 用 程序 。 通 过 从 头 设计 和 建造 点 击 行走 机 器 


人 ， 把 之 前 几 章 讨论 过 的 概念 都 融 悉 了 一 遍 。 你 可 以 看 到 本 书 中 使 用 的 视 竞 方法 工作 得 很 好 ， 即 便 是 对 复杂 的 应 用 程序 也 是 如 
此 。 你 现在 开道 了 如 何 将 计算 机 视 锅 应 用 程序 分 成 小 块 、 如 何 设 计 和 实现 每 个 设计 步骤 ， 以 及 如 何 有 效 地 使 用 已 有 的 工具 。 


你 可 以 把 从 这 本 书 中 学 到 的 内 容 应 用 到 不 同 的 应 用 程序 中 ， 在 这 个 过 程 中 可 以 增强 你 的 计算 机 视 党 方面 的 知识 。 我 们 希望 你 
喜欢 阅读 这 本 书 。 希 望 你 无 拘 无 束 不 断 探索 、 快 乐 学 习 。 


